超参数momentum与weight-decay的作用

超参数momentum与weight-decay的作用

原文：https://blog.csdn.net/u012938704/article/details/52739612/

一、weight decay（权值衰减）使用的目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。

二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为

x←x−α∗dxx←x−α∗dx

，x沿负梯度方向下降。而带momentum项的SGD则写生如下形式： 

v= ∗v−a∗dxx←x+vv= ∗v−a∗dxx←x+v

其中ββ 即momentum系数，通俗的理解上面式子就是，如果上一次的momentum（即vv）与这一次的负梯度方向是相同的，那这次下降的幅度就会加大，所以这样做能够达到加速收敛的过程。