使用L2正则化进行权重衰退

正则化定义：凡是可以减少泛化误差，而不是去减小训练误差的方法，都可以称作为正则化方法。（直接理解：凡是能减小过拟合的方法，都叫做正则化方法）
本次主要介绍针对参数的正则化（针对参数，主要说的是$w$）。

使用均方范数作为限制

可以通过限制参数值（一般来说是$w$）的选择范围来控制模型容量/复杂度，进而防止过拟合：
$minl(w,b)，\Vert w{\Vert }^2\le \theta$
注：小的$\theta$意味着更强的正则项

对于每个$\theta$都可以找到$\lambda$使上述的目标函数等价于下面的：
$argminl(w,b)+\frac{\lambda }{2}\Vert w\Vert$
可以通过拉格朗日乘子来证明，详细见https://www.bilibili.com/video/BV1Z44y147xA?spm_id_from=333.999.0.0

（绿色等高线代表损失函数$l$，黄色的等高线代表我们加入的正则项（这里是$l_2$正则项）。）

原本经梯度下降到最小的$w$为图中$\widetilde{w^{\ast }}$，加入正则项后，要想使$argminl(w,b)+\frac{\lambda }{2}\Vert w\Vert$，也就是将式子中的两项中和一下，则$\widetilde{w^{\ast }}$会向黄色等高线方向移动。
通俗点讲，$\widetilde{w^{\ast }}$受黄色等高线的吸引力，直到$w^{\ast }$时才保持平衡，此时取$w^{\ast }$会使$argminl(w,b)+\frac{\lambda }{2}\Vert w\Vert$最小化。

正是因为加入正则项后，极小化损失函数$l$所取得最优解$\widetilde{w^{\ast }}$向原点移动了，所以$w$得取值减小了，所以也让模型得复杂度降低了。

参数更新法则

加入$L_2$正则项后，计算梯度

$\frac{\partial (l(w,b)+\frac{\lambda }{2}\Vert w\Vert )}{\partial w}$=$\frac{\partial l(w,b)}{\partial w}$+$\lambda w$

更新参数

$w_{t+1}=w_t-\eta \frac{\partial (l(w_t,b)+\frac{\lambda }{2}\Vert w_t\Vert )}{\partial w_t}$
$\Downarrow$
$w_{t+1}=(1-\eta \lambda )w_t-\eta \frac{\partial l(w_t,b)}{\partial w_t}$

这里参照原来每次更新参数时都会多减去了$\eta \lambda w_t$，通常$\eta \lambda <1$，在深度学习中通常叫做权重衰退。