我们知道线性回归的损失范数可以用下面的公式来表示:
a是我们要求的系数,y是预测值,f是目标值。优化策略是使E越小越好。
正则化的目的是,是模型对噪声不那么敏感,减少过拟合,使模型具有更好的泛化性。
L2范数
如果我们要使用L2范数也就是岭回归(ridge regression),则有
作用是加上一个第二个式子,防止a太大,a太大会使模型对于噪声很敏感,导致过拟合的情况,所以对E进行正则化,缩小a的取值,防止过拟合的情况出现。
求解过程为: