常用深度学习技术
1.1过拟合与欠拟合
机器学习的基本问题是利用模型对数据进行拟合,学习的目的并非是对有限
训练集进行正确预测,而是对未曾出现在训练集合中的样本能够正确预测。模型
对训练集数据的误差称为经验误差,对测试集数据的误差称为泛化误差。模型对
训练集以外样本的预测能力就称为模型的泛化能力,追求这种泛化能力始终是机
器学习的目标。
过拟合和欠拟合是导致模型泛化能力不高的两种常见原因,都是模型学习能
力与数据复杂度之间失配的结果。“欠拟合”常常在模型学习能力较弱,而数据
复杂度较高的情况出现,此时模型由于学习能力不足,无法学习到数据集中的
“一般规律”,因而导致泛化能力弱。与之相反,“过拟合”常常出现在模型学习
能力过强的情况,此时的模型学习能力太强,以至于将训练集单个样本自身的
特点都能捕捉到,并将其认为是“一般规律”,同样这种情况也会导致模型泛化
能力下降。过拟合与欠拟合的区别在于,欠拟合在训练集和测试集上的性能都
较差,而过拟合往往能完美学习训练集数据的性质,而在测试集上的性能较差。
图2-13(a)与图2-13(b)分别展示了对二维数据进行拟合时过拟合与欠拟合的情况。
其中蓝色虚线代表数据的真实分布,橙色圆点为训练数据,黑色实线代表模型的
拟合结果。图2-13(a)使用简单的线性模型拟合,由于模型过于简单,没有能力捕
捉模型的真实分布,产生了欠拟合。图2-13(b)使用了高次多项式模型进行拟合,