深入理解梯度下降算法

下降方向：

设$x,d\in R^n.若存在数\alpha >0,使得$
$f(x+\alpha d)<f(x)$
则称d是函数$f$在点$x$处的一个下降方向。

下降方向$d$从几何上可解释为：当点从$x$出发，沿着方向$d$移动时，函数$f$的值的变化呈单调递减的趋势。

梯度下降算法

梯度下降算法也叫做最速下降算法，以负梯度方向作为极小化算法的下降方向，是无约束最优化中最简单的方法。

设函数$f(x)在x_k附近连续可微，且g_k=▽f(x_k)\ne 0$由Taylor展开式:

f ( x ) = f ( x k ) + ( x − x k ) T ▽ f ( x k ) + o ( ∣ ∣ x − x k ∣ ∣ ) f(x)=f(x_k)+(x-x_k)^T▽f(x_k)+o(||x-x_k||) f(x)=f(xk​)+(x−xk​)