学习笔记——权重衰减和学习率衰减

参考：权重衰减和学习率衰减 - 楷哥 - 博客园 (cnblogs.com)

• 权重衰减

权重衰减 (weight decay)，是一种正则化的方法，又叫做L2正则化。

应用了权重衰减的神经网络，最终某些权重会变成零 ，相当于输入在这个神经元上会被抛弃。神经网络中某些权重归零，表示模型的复杂度下降了，多了一个零，少了一个参数。

• 学习率衰减

学习率衰减 (learning rate decay) 就是调小学习率，使到损失可以进一步减小。

如果整个优化过程，学习率一直保持较大的数值，那么在损失可能在局部最小值的周围震荡，而又到不了局部最小。将学习率变小，学习的步长变小了，使到损失可以到达局部最小。