机器学习——欠拟合、过拟合与正则化

1. 偏差与方差

首先要了解两个概念：偏差与方差。
下图中红色中心为测试数据的真实标记；蓝色点为模型产生的预测值。
蓝色点的中心与红色中心的距离就是偏差(Bias)
蓝色小点与蓝色点中心的平均距离就是方差(Variance)

通俗理解就是，偏差指的是模型预测数据与真实数据的差距，用来表示模型预测的准确性；方差指的是模型预测数据的波动，用来表示模型预测的稳定性。

2. 欠拟合与过拟合

上图第一个模型中，通过对数据进行线性回归拟合，得到一条直线。但可以发现，实际数据与直线上的点有着很大的偏差(bais)，可见线性回归并没有很好地拟合训练数据。此类情况称为欠拟合(underfitting)，或者叫作叫做高偏差(bias)。

上图第二个模型中，在线性回归的基础上加入一个二次项，用二次函数去拟合。可以拟合出一条曲线，事实也证明这个拟合效果很好。

上图第三个模型中，对于该数据集用一个四次多项式来拟合。因此在这里我们有五个参数θ0到θ4，这样我们同样可以拟合一条曲线，通过我们的五个训练样本࿰