统计学习方法--梯度下降法

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白

梯度下降法(gradient descent) 或最速下降法(steepest descent) 是求解无约束最优化问题的一种最常用的方法，具有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。

假设$f(x)$是$R^n$上具有一阶连续偏导数的函数。要求解的无约束最优化问题是
$$\underset{x\in R^n}{\min }f(x)\text{\hspace{1em}(A.1)}$$
$x^{\ast }$表示目标函数$f(x)$的极小点。

梯度下降法是一种选代算法。选取适当的初值$x^{(0)}$，不断迭代，更新$x$的值，进行目标函数的极小化， 直到收敛。由于负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新$x$的值，从而达到减少函数值的目的。

由于$f(x)$具有一阶连续偏导数，若第$k$次迭代值为$x^{(k)}$，则可将$f(x)$在$x^{(k)}$附近进行一阶泰勒展开：
$$f(x)=f(x^{(k)})+g_k^T(x-x^{(k)})\text{\hspace{1em}(A.2)}$$
这里，$g_k=g(x^{(k)})=▽f(x^{(k)})$为$f(x)$在$x^{(k)}$的梯度。

求出第$k+1$次迭代值$x^{(k+1)}$：
$$x^{(k+1)}\leftarrow x^{(k)}+{\lambda }_k{p}_k\text{\hspace{1em}(A.3)}$$
其中，$p_k$是搜索方向，取负梯度方向$p_k=-▽f(x^{(k)}),{\lambda }_k$是步长，由一维搜索确定，即${\lambda }_k$使得
$$f(x^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(x^{(k)}+\lambda p_k)\text{\hspace{1em}(A.4)}$$
算法A.1(梯度下降法)

输入：目标函数$f(x)$，梯度函数$g(x)=▽f(x)$，计算精度$\epsilon$；
输出：f(x)的极小点$x^{\ast }$。

(1)取初始值$x^{(0)}\in R^n$，置$k=0$。
(2)计算$f(x^{(k)})$。
(3)计算梯度$g_k=g(x^{(k)})$，当$\Vert g_k\Vert <\epsilon$时，停止迭代，令$x^{\ast }=x^{(k)}$；否则，令$p_k=-g(x^{(k)})$，求${\lambda }_k$，使
$$f(x^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(x^{(k)}+\lambda p_k)$$
(4)置$x^{(k+1)}=x^{(k)}+{\lambda }_k{p}_k$，计算$f(x^{(k+1)})$
当$\Vert f(x^{(k+1)})-f(x^{(k)})\Vert <\epsilon$或$\Vert x^{(k+1)}-x^{(k)}\Vert <\epsilon$时，停止迭代，令$x^{\ast }=x^{(k+1)}$。
(5)否则，置$k=k+1$,转(3)。

当目标函数是凸函数时，梯度下降法的解是全局最优解。一般情况下，其解不保证是全局最优解。梯度下降法的收敛速度也未必是很快的。

数据来源：统计学习方法(第二版)