在训练模型的过程中,我们经常使用正则化方法来防止过拟合,但是,当正则化参数的大小选择不当,也会引起高偏差和高分差的问题,如下图所示:
从图中可以看出,当正则化参数 λ 取得很大时,会使权重w很小,也就会造成不能取到合适的值,从而使得出现欠拟合的情况。当 λ 取得很小时,会使得权重w可以取得大范围的值甚至任意值,也就会尽可能拟合样本点,从而使得出现过拟合的情况。
于是,我们需要考虑 λ的取值。
我们采取2倍增长的方式,来尝试不同的 λ 值,用训练集得到模型,用验证集得到验证误差,我们选择验证误差最小的 λ 值对应的模型,最后可以用测试集得到推广误差。即步骤如下:
1.使用训练集训练出12个不同程度正则化的模型;
2.用12个模型应用到交叉验证集,计算验证误差;
3.选择得出交叉验证误差最小的模型;
4.用选出的模型应用到测试集中,计算得出推广误差。
我们可以将训练误差和验证误差绘制在一张图标上:
当 λ 较小时,训练集误差较小(过拟合)而交叉验证集误差较大;
随着 λ 的增加,训练误差不断增加(欠拟合),而交叉验证集误差则是先减小后增加。