标准梯度下降法

标准梯度下降法

梯度下降法用于解无约束问题，是一种迭代算法，每一步要求解目标函数的梯度向量，具有实现简单的优点。

一阶泰勒展开

设$f(x)$具有一阶连续偏导数，若第k次的迭代值为$x^{(k)}$,则在$x^{(k)}$处的一阶泰勒展开为
$$f(x)=f(x^{(k)})+g_k^T\ast (x-x^{(k)})$$
这里，$g_k=g(x^{(k)})=\nabla f(x^{(k)})$,即$f(x)$在$x^{(k)}$的梯度。

第k+1次的迭代值$x^{(k+1)}$

$$x^{(k+1)}=x^{(k)}+{\lambda }_k{p}_k$$
其中$p_k$是搜索方向，取负梯度方向$p_k=-\nabla f(x^k)$

${\lambda }_k$的确定

${\lambda }_k$是搜索步长，可由一维搜索确定，即$p_k$方向的最优步长。
$$f(x^k+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(x^k+\lambda p_k)$$

算法步骤

input：目标函数$f(x)$,梯度函数$g(x)=\nabla f(x)$,计算精度$\epsilon$;
ooutput：$f(x)$的极小点$x^{\ast }$
(1)取初值$x^{(0)}\in {\mathbb{R}}^n$,置k=0;
(2)j计算$f(x^{(k)})$
(3)计算梯度$g_k=g(x^{(k)})$,当$\Vert g_k\Vert <\epsilon$时，停止迭代，令$x^{\ast }=x^{(k)}$;否则，令$p_k=-g(x^{(k)})$,求${\lambda }_k$,使
$$f(x^k+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(x^k+\lambda p_k)$$
(4)置$x^{(k+1)}=x^{(k)}+{\lambda }_k{p}_k$, 计算$f(x^{(k+1)})）$
当$\Vert f(x^{(k+1)})-f(x^{(k)})\Vert <\epsilon$ 或 $\Vert x^{(k+1)}-x^{(k)}\Vert <\epsilon$时，停止迭代，令$x^{\ast }=x^{(k+1)}$
(5)否则，置k = k+1,转（3）。

注意

当目标函数是凸函数时，梯度下降法的解一定是全局最优。否则，容易陷入局部最优解。