上一篇博客链接: 机器学习与建模中 - 判断数据模型拟合效果的三种方法
在上一篇博客中,我们谈到了使用损失函数来判断模型的拟合效果。但是拟合效果比较好的模型不一定是最好的模型,建模的最终目的是为了预测,因此预测最精准的模型才是最好的模型。
提到预测,我们引入一个新的概念,叫作“泛化能力”(泛化能力是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出。)
比如在多项式回归的例子上(下图),对于同样的训练数据,8阶多项式的损失比1阶多项式小很多,但是对于未来的预测,8阶多项式显得非常糟糕(下右图)。由于8阶多项式的模型过于关注训练数据(过拟合),因此不能很好的泛化新数据。
为了克服过拟合,能够更好的泛化,我们一般采取以下四种方法: