机器学习 (六) 过拟合与欠拟合 (Overfitting & Underfitting)

偏差(Bias)与方差(Variance)

如上图，偏差(Bias) 代表欠拟合(Underfitting)，即训练集与验证集的误差都很大；**方差(Variance)**代表过拟合(Overfitting)，即训练集误差很小，但验证集误差很大。

	high Variance	high bias	high bias & high variance(欠拟合)	low bias & low variance (过拟合)
Training Set Error	1%	15%	15%	0.5%
Validation Set Error	11%	16%	30%	1%

过拟合(Overfitting)

定义：

  由于使用的参数过多而导致模型对观测数据（训练数据）过度拟合，以至于用该模型来预测其他测试样本输出的时候与实际输出或者期望值相差很大的现象。
  简言之，就是训练数据拟合过好，导致测试数据与验证数据误差较大。

原因：

• 模型太复杂
• 数据太少
• 数据噪声大

解决方法：

1. 数据集扩增(Data Augmentation)
2. 正则化(Regularization)
3. 提前停止迭代(Early Stopping)
4. 减少特征
5. 针对神经网络，可用Dropout方法
6. 需要设置超参数的方法，可用交叉验证(Cross Validation)

1.数据集扩增(Data Augmentation)

  足够的数据往往能更好更客观的训练出较好的模型，当数据较少时，拟合的模型太过片面，只学习到了部分数据，很容易导致过拟合。因此，增加数据可以很好的防止过拟合。数据集增加有很多方法，如人为增加数据；重采样，给训练集分配更多的数据；通过实验获取更过数据等。

2.正则化(Regularization)

机器学习中通常采用L1正则化与L2正则化：
  L1正则化的模型叫做Lasso回归，使用L2正则化的模型叫做Ridge回归(岭回归)。正则化是在loss function的式子后加一个L1或L2正则化参数项，构成一个新的带惩罚因子的cost function.

L1正则化：

L1正则化是指权值向量$w$中所有元素的绝对值的和，其参数项公式如下：
$$\frac{\lambda }{2m}\sum _{j=1}^m{\Vert w\Vert }_1=\frac{\lambda }{2m}\sum _{j=1}^m|w_j|$$
应用L1正则化的模型的cost function为：
$$J(w,b)=L(w,b)+\frac{\lambda }{2m}$$