L2正则和权值衰减的区别 L2 Regulation vs Weight Decay

对于L2 Regulation 和 Weight Decay，假设原来的损失函数是$f$,

对于有Weight Decay的参数更新规则如下：

$${\theta }_{t+1}={\theta }_t-\alpha \nabla f_t\left({\theta }_t\right)-\lambda {\theta }_t,$$
其中$\lambda$是权值衰减的系数，$\alpha$是学习率。

对于有L2 Regulation的参数更新规则如下：

$${\theta }_{t+1}={\theta }_t-\alpha {\nabla }_f\left({\theta }_t\right)-\alpha {\lambda }^{\prime }{\theta }_t,$$
其中${\lambda }^{\prime }$是L2正则的系数。

---

可见，只有当$\lambda =\alpha {\lambda }^{\prime }$，即${\lambda }^{\prime }=\lambda /\alpha$时，L2 Regulation 和 Weight Decay在数值上才是完全等价的。