关于过拟合的通俗介绍

简单一句话，过拟合就是在训练集上表现比较好，在测试集上表现很差的一种现象。如下图所示：

图三过度的拟合了训练数据，而没有考虑到模型的泛化能力，在训练集上的准确率和开发集上的准确率画在一个图上如下：

图片引用来自吴恩达课程。

发生过拟合的主要原因主要有下面三点：

1.数据有噪声

2.训练数据太少，有限的训练数据

3.训练模型过度导致模型非常复杂

往往我们的模型是在训练数据有限的情况下，找出使损失函数最小的最优模型，然后将该模型泛化于所有数据的其它部分。这是机器学习的本质！