torch笔记十六 | 权重衰退（Weight Decay）

一种常见的处理过拟合的方法。

1.使用均方范数作为硬性限制

控制模型容量的两种方式：参数的数量、参数的选择范围。该方法是通过限制参数值的选择范围，来控制模型容量的。
$$minl(w,b)s.t.{\Vert w\Vert }^2\le \theta$$

${\Vert w\Vert }^2$代表权重中每一项的平方和。通常不限制偏移b，小的$\theta$意味着更强的正则项。这种方法很少用，一般转化为下面这种柔性限制。

2.使用均方范数作为柔性限制

下面两个式子表示的意思是一样的。超参数$\lambda$控制了正则项的重要程度。$\lambda$=0：无作用；$\lambda$趋近于无穷大，w趋近于0。
$$minl(w,b)+\frac{\lambda }{2}{\Vert w\Vert }^2$$

3.参数更新法则

计算梯度：
$$\frac{\partial }{\partial w}(\iota (w,b)+\frac{\lambda }{2}{\Vert w\Vert }^2)=\frac{\partial \iota (w,b)}{\partial w}+\lambda w$$

时间t更新参数：

$$w_{t+1}=w_t-\eta \frac{\partial }{\partial w_t}(\iota (w_t,b)+\frac{\lambda }{2}{\Vert w_t\Vert }^2)=(1-\eta \lambda )w_t-\eta \frac{\partial \iota (w_t,b)}{\partial w_t}$$

一般来说，$\eta \lambda$比1要小，和之前参数更新公式相比，每次更新的时候，先把当前的权重wt乘以一个小于1的数，把wt的值缩小了一点点，再沿着梯度的反方向走一点点，所以在深度学习通常叫做权重衰退。

4.意义

权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度。正则项权重是控制模型复杂度的超参数，一般在深度学习框架中的优化器（SGD等）中可以设置Weight Decay：$\lambda$的值，通常0.001，不会选到1等很大的数值。