梯度下降法和(拟)牛顿法区别及介绍

梯度下降法和牛顿法介绍

梯度下降法和牛顿法都是求解无约束最优化问题的常用方法。
假设$f(x)$为$\mathbf{R}^n$上具有一阶连续偏导数的函数，要求解的无约束最优化问题为

$$\min_{x \in \mathbf{R}^n} \ f(x)$$
$x^*$表示目标函数的极小点。下面分别介绍梯度下降法和牛顿法。

---

梯度下降法

梯度下降法是一种迭代算法。选取适当的初值$x^{(0)}$，不断迭代，更新$x$的值，进行目标函数的极小化，直到收敛。因为负梯度方向是使函数值下降最快的方向，在迭代的每一步，以扶梯度方向更新$x$的值，从而达到减少函数值的目的。

由于$f(x)$具有一阶连续偏导数，若第k次迭代值为$x^{(k)}$，则可将$f(x)$在$x^{(k)}$附近进行一阶泰勒展开：

$$f(x) = f(x^{(k)}) + g_k^T(x-x^{(k)}) \tag{1.1}$$
这里， $g_k=g(x^{(k)}) = \nabla f(x^{(k)})$为 $f(x)$在 $x^{(k)}$处的梯度。

求出第k+1次迭代值$x^{(k+1)}$:

$$x^{(k+1)} \gets x^{(k)} + \lambda_k p_k\tag{1.2}$$
其中， $p_k$是搜索方向，取负梯度方向 $p_k=-\nabla f(x^{(k)})$, $\lambda_k$是步长，由一维搜索确定，即 $\lambda_k$使得
$$f(x^{(k)} + \lambda_k p_k) = \min_{\lambda \ge 0} f(x^{(k)} + \lambda p_k)\tag{1.3}$$

---

牛顿法

牛顿法收敛速度快，每一步需要求解目标函数的海赛矩阵的逆矩阵，计算比较复杂，可通过拟牛顿法简化计算过程。

假设$f(x)$具有二阶连续偏导数，若第k次迭代值为$x^{(k)}$，则可在$x^{(k)}$附近进行二阶泰勒展开：

$$f(x) = f(x^{(k)}) + g_k^T(x-x^{(k)}) + \frac{1}{2}(x-x^{(k)})^T H(x^{(k)})(x-x^{(k)})\tag{2.1}$$
这里， $g_k=g(x^{(k)}) = \nabla f(x^{(k)})$为 $f(x)$在 $x^{(k)}$处的梯度， $H(x^{(k)})$是