参考:权重衰减和学习率衰减 - 楷哥 - 博客园 (cnblogs.com)
- 权重衰减
权重衰减 (weight decay),是一种正则化的方法,又叫做L2正则化。
应用了权重衰减的神经网络,最终某些权重会变成零 ,相当于输入在这个神经元上会被抛弃。神经网络中某些权重归零,表示模型的复杂度下降了,多了一个零,少了一个参数。
- 学习率衰减
学习率衰减 (learning rate decay) 就是调小学习率,使到损失可以进一步减小。
如果整个优化过程,学习率一直保持较大的数值,那么在损失可能在局部最小值的周围震荡,而又到不了局部最小。将学习率变小,学习的步长变小了,使到损失可以到达局部最小。