简单一句话,过拟合就是在训练集上表现比较好,在测试集上表现很差的一种现象。如下图所示:
图三过度的拟合了训练数据,而没有考虑到模型的泛化能力,在训练集上的准确率和开发集上的准确率画在一个图上如下:
图片引用来自吴恩达课程。
发生过拟合的主要原因主要有下面三点:
1.数据有噪声
2.训练数据太少,有限的训练数据
3.训练模型过度导致模型非常复杂
往往我们的模型是在训练数据有限的情况下,找出使损失函数最小的最优模型,然后将该模型泛化于所有数据的其它部分。这是机器学习的本质!
简单一句话,过拟合就是在训练集上表现比较好,在测试集上表现很差的一种现象。如下图所示:
图三过度的拟合了训练数据,而没有考虑到模型的泛化能力,在训练集上的准确率和开发集上的准确率画在一个图上如下:
图片引用来自吴恩达课程。
发生过拟合的主要原因主要有下面三点:
1.数据有噪声
2.训练数据太少,有限的训练数据
3.训练模型过度导致模型非常复杂
往往我们的模型是在训练数据有限的情况下,找出使损失函数最小的最优模型,然后将该模型泛化于所有数据的其它部分。这是机器学习的本质!