关于梯度下降法的几点理解。 1、梯度下降,是梯度的反方向,如f(x)=x^2,梯度为2x,反方向为-2x。 2、梯度下降,顾名思义,梯度的值会越来越小。 3、梯度是个变化的向量(2元函数及以上)。 Gradient-Descent(全世界最通俗易懂的梯度下降法详解-优化函数大法) - 知乎 (zhihu.com)