神经网络参数更新方法 SGD及变种 1、普通SGD update SGD(Stochastic Gradient Descent)就是最常见的随机梯度下降。 向着参数的梯度的负方向改变(梯度方向是增加的方向)。 这里的x可以是权值w也可以是偏置b。 2、Momentum update