# Momentum update
v = mu * v - learning_rate * dx # integrate velocity
x += v # integrate position
mu一般选0.9
利用动量更新方法,参数向量就可以沿着和梯度方向积累速度。
# Momentum update
v = mu * v - learning_rate * dx # integrate velocity
x += v # integrate position
mu一般选0.9
利用动量更新方法,参数向量就可以沿着和梯度方向积累速度。