正则化和 高偏差与高分差 之间的关系

在训练模型的过程中，我们经常使用正则化方法来防止过拟合，但是，当正则化参数的大小选择不当，也会引起高偏差和高分差的问题，如下图所示：

从图中可以看出，当正则化参数 λ 取得很大时，会使权重w很小，也就会造成不能取到合适的值，从而使得出现欠拟合的情况。当 λ 取得很小时，会使得权重w可以取得大范围的值甚至任意值，也就会尽可能拟合样本点，从而使得出现过拟合的情况。

于是，我们需要考虑 λ的取值。

我们采取2倍增长的方式，来尝试不同的  λ 值，用训练集得到模型，用验证集得到验证误差，我们选择验证误差最小的 λ 值对应的模型，最后可以用测试集得到推广误差。即步骤如下：

1.使用训练集训练出12个不同程度正则化的模型；

2.用12个模型应用到交叉验证集，计算验证误差；

3.选择得出交叉验证误差最小的模型；

4.用选出的模型应用到测试集中，计算得出推广误差。

我们可以将训练误差和验证误差绘制在一张图标上：

当  λ 较小时，训练集误差较小（过拟合）而交叉验证集误差较大；

随着 λ 的增加，训练误差不断增加（欠拟合），而交叉验证集误差则是先减小后增加。