在机器学习中,我们的目标是最小化损失函数: J ( θ ) J(\mathbf {\theta}) J(θ)。为了快速得到最佳的参数 θ \mathbf {\theta} θ,我们需要找到损失函数下降最快的方向,即找到一个 θ \theta θ移动的方向 v \mathbf{v} v, 使得 J ( θ ) − J ( θ + v ) J(\theta) - J(\mathbf{\theta + v}) J(θ)−J(θ+v) 最大。公式描述为:
v = a r g m a x v ( J ( θ ) − J ( θ + v ) ) \mathbf{v} = argmax_{\mathbf{v}}(J(\theta) - J(\mathbf{\theta + v})) v=argmax