常用深度学习技术 (总结3)

                         常用深度学习技术

1.1过拟合与欠拟合

       机器学习的基本问题是利用模型对数据进行拟合，学习的目的并非是对有限
训练集进行正确预测，而是对未曾出现在训练集合中的样本能够正确预测。模型
对训练集数据的误差称为经验误差，对测试集数据的误差称为泛化误差。模型对
训练集以外样本的预测能力就称为模型的泛化能力，追求这种泛化能力始终是机
器学习的目标。
过拟合和欠拟合是导致模型泛化能力不高的两种常见原因，都是模型学习能
力与数据复杂度之间失配的结果。“欠拟合”常常在模型学习能力较弱，而数据
复杂度较高的情况出现，此时模型由于学习能力不足，无法学习到数据集中的
“一般规律”，因而导致泛化能力弱。与之相反，“过拟合”常常出现在模型学习
能力过强的情况，此时的模型学习能力太强，以至于将训练集单个样本自身的
特点都能捕捉到，并将其认为是“一般规律”，同样这种情况也会导致模型泛化
能力下降。过拟合与欠拟合的区别在于，欠拟合在训练集和测试集上的性能都
较差，而过拟合往往能完美学习训练集数据的性质，而在测试集上的性能较差。
图2-13(a)与图2-13(b)分别展示了对二维数据进行拟合时过拟合与欠拟合的情况。
其中蓝色虚线代表数据的真实分布，橙色圆点为训练数据，黑色实线代表模型的
拟合结果。图2-13(a)使用简单的线性模型拟合，由于模型过于简单，没有能力捕
捉模型的真实分布，产生了欠拟合。图2-13(b)使用了高次多项式模型进行拟合，