L2正则化的理解

L2正则化

普通的损失函数
$$L=\sum _n({\hat{y}}_n-(b+\sum w_i{x}_i){)}^2$$
在损失函数后面加上一个正则项，梯度下降的时候时候减小w
$$L=\sum _n({\hat{y}}_n-(b+\sum w_i{x}_i){)}^2+\lambda \sum w_i^2$$
梯度下降更新会在原有的梯度上多减去一项，使得w的值更小
$$w=w-\alpha (\frac{\delta L}{\delta W}+\lambda \sum w)$$
更小的权重意味着，学出来的模型更加简单平滑。假设模型为最简单的线性回归模型
$$y=b+\sum w_i(x_i+△x_i)$$
当w越小或趋向于0时，x变化时，w$△x\to 0$
$$\begin{gathered} w_i\to 0 \\ {w}_i△x_i\to 0 \end{gathered}$$
因此，模型对输入变化越不敏感，受噪声的影响越小。
不足的点在于，λ过大时，造成w过小，会造成输入x的拟合不足。
在参数λ合适的情况下，增加L2正则化项可以降低模型复杂度，提高测试准确度。

如下图，来自Andrew的课程，
当 $\lambda =0$时，模型 $f(x)=w_1{x}_1+w_2{x}^2+w_3{x}^3+w_4{x}^4+b$, 曲线如蓝色线条，模型会非常复杂, 造成过拟合
而当 $\lambda =10^{10}$时，所有的权重都将减小至0，$f(x)=b$，如红色线条，模型欠拟合
当选择一个合适的$\lambda$时，得到一个合适的模型，如紫色线

参考：
李宏毅课程