NTU-Coursera机器学习:过拟合(Overfitting)与正规化(Regularization)

过拟合overfitting

过拟合(overfitting)定义

什么是过拟合(overfitting),即:简单的说就是这样一种学习现象：Ein 很小，Eout 却很大。而Ein 和 Eout 都很大的情况叫做 underfitting。这是机器学习中两种常见的问题。

上图中，竖直的虚线左侧是"underfitting", 左侧是"overfitting”。发生overfitting 的主要原因是：（1）使用过于复杂的模型(dvc 很大)；（2）数据噪音；（3）有限的训练数据。

噪音与数据规模

我们可以理解地简单些：有噪音时，更复杂的模型会尽量去覆盖噪音点，即对数据过拟合！这样，即使训练误差Ein 很小（接近于零），由于没有描绘真实的数据趋势，Eout 反而会更大。即噪音严重误导了我们的假设。