一、weight decay(权值衰减)使用的目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。
二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为
x←x−α∗dx
,x沿负梯度方向下降。而带momentum项的SGD则写生如下形式:
v=β∗v−a∗dxx←x+v
其中 β 即momentum系数,通俗的理解上面式子就是,如果上一次的momentum(即 v <script type="math/tex" id="MathJax-Element-28">v</script>)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
作者:陈永志
链接:https://www.zhihu.com/question/24529483/answer/114711446
来源:知乎
著作权归作者所有,转载请联系作者获得授权。