梯度下降法的简单理解

梯度下降法

　　梯度下降法（gradient descent）或最速下降法（steepest descent）是求解无约束最优化问题的一种最常用的方法。
负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新x的值，从而达到减少函数值的目的。
假设$f(x)$在$R_n$上具有一阶连续偏导数，要求解的无约束最优化问题是：

$$\min\limits_{x \in R_n} f(x)$$
由于 $f(x)$具有一阶连续偏导数，若第 $k$次迭代值为$x^{(k)}$，则可将 $f(x)$在 $x^{(k)}$附近进行泰勒展开：
$$f(x) = f(x^{(k)}) + g_k^T(x-x^{(k)})$$
这里， $g_k = g(x^{(k)}) = \nabla f(x^{(k)})$为 $f(x)$在 $x^{(k)}$的梯度。
求出第 $k+1$次迭代值 $x^{(k+1)}$： $x^{(k+1)} \leftarrow x^{(k)} + \lambda_k p_k$
其中， $p_k$是搜索方向，取负梯度方向 $p_k = -\nabla f(x^{(k)})$， $\lambda_k$是步长，由一维搜索确定，即 $\lambda_k$使得 $f(x^{(k)} + \lambda_k p_k) = \min\limits_{\lambda \geq 0} f(x^{(k)} + \lambda p_k)$

简单推导：

$$\begin{equation} f(x^{(k+1)}) = f(x^{(k)}) + \nabla f(x^{(k)})*(x^{(k+1)}-x^{(k)}) \end{equation}$$

取$x^{(k+1)} = x^{(k)} + \lambda p_k = x^{(k)} + \lambda * (-\nabla f(x^{(k)}))$，带入上式有：

$$f(x^{(k+1)}) = f(x^{(k)}) - \lambda*(\nabla f(x^{(k)}))^2$$ ，所以 $f(x^{(k+1)}) \leq f(x^{(k)})$，且如果 $f(x)$存在最小值，因此多次迭代下，可以收敛。

　　牛顿法和拟牛顿法也是求解无约束最优化问题常用的方法，有收敛速度快的优点。牛顿法是迭代算法，每一步需要求解目标函数的海赛矩阵的逆矩阵，计算比较复杂。拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵，简化了这一计算过程。
以下三种方法都是拟牛顿法：
DFP（Davidon-Fletcher-Powell）算法
BFGS（Broyden-Fletcher-Goldfarb-Shanno）算法
L-BFGS算法

参考资料：
1. 《统计学习方法》李航
2. [泰勒公式]　https://ss2.baidu.com/6ONYsjip0QIZ8tyhnq/it/u=2362434890,1610636723&fm=58