Weight Decay 权值衰减

分别转载自不同的博客：

之一：

在机器学习中，常常会出现overfitting，网络权值越大往往overfitting的程度越高，因此，为了避免出现overfitting,会给误差函数添加一个惩罚项，常用的惩罚项是所有权重的平方乘以一个衰减常量之和。

右边项即用来惩罚大权值。权值衰减惩罚项使得权值收敛到较小的绝对值，而惩罚大的权值。从而避免overfitting的出现。

之二：

假设我们原来的损失函数没有weight decay项，设为E(w)，这种情况下的权值更新如下：

带有weight decay项后，损失函数变为：

此时的更新函数为：

这样则会使权重衰减。

之三：