梯度下降法

梯度

在二元函数的情形，设函数 $f(x,y)$ 在平面区域 $D$ 内具有一阶连续偏导数，则对于每一点 $P_0(x_0,y_0) \in D$，都可以定出一个向量

$$f_x(x_0,y_0)i+f_y(x_0,y_0)j$$
这向量称为函数 $f(x,y)$ 在点 $P_0(x_0,y_0)$ 的梯度，记为 $\nabla f(x_0,y_0)$或 ${\displaystyle \operatorname {grad} (x_0,y_0) }$，即
$$\nabla f(x_0,y_0) = {\displaystyle \operatorname {grad} (x_0,y_0) = f_x(x_0,y_0)i+f_y(x_0,y_0)j}$$
其中 ${\displaystyle \nabla}$（nabla）表示向量微分算子。

通俗的说梯度就是该点的沿函数的增长最快的方向的那个向量，模值等于最大的方向导数。

范例

函数 ${\displaystyle \varphi =2x+3y^{2}-\sin(z)}$ 的梯度为：

${\displaystyle \nabla \varphi ={\begin{pmatrix}{\frac {\partial \varphi }{\partial x}},{\frac {\partial \varphi }{\partial y}},{\frac {\partial \varphi }{\partial z}}\end{pmatrix}}={\begin{pmatrix}{2},{6y},{-\cos(z)}\end{pmatrix}}}$。

梯度下降

梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。

描述

梯度下降方法基于以下的观察：如果实值函数 ${\displaystyle F(\mathbf {x} )}$在点 ${\displaystyle \mathbf {a} }$ 处可微且有定义，那么函数 ${\displaystyle F(\mathbf {x} )}$在 ${\displaystyle \mathbf {a} }$ 点沿着梯度相反的方向 ${\displaystyle -\nabla F(\mathbf {a} )}$ 下降最快。

因而，如果

$${\displaystyle \mathbf {b} =\mathbf {a} -\gamma \nabla F(\mathbf {a} )}$$

对于 ${\displaystyle \gamma >0}$ 为一个够小数值时成立，那么 ${\displaystyle F(\mathbf {a} )\geq F(\mathbf {b} )}$。

考虑到这一点，我们可以从函数 ${\displaystyle F}$ 的局部极小值的初始估计 ${\displaystyle \mathbf {x} _{0}}$ 出发，并考虑如下序列 ${\displaystyle \mathbf {x} _{0},\mathbf {x} _{1},\mathbf {x} _{2},\dots }$ 使得

$${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0}$$

因此可得到

$${\displaystyle F(\mathbf {x} _{0})\geq F(\mathbf {x} _{1})\geq F(\mathbf {x} _{2})\geq \cdots ,}$$

如果顺利的话序列 ${\displaystyle (\mathbf {x} _{n})}$ 收敛到期望的极值。注意每次迭代步长 ${\displaystyle \gamma }$ 可以改变。

图片示例了这一过程，这里假设 ${\displaystyle F}$ 定义在平面上，并且函数图像是一个碗形。蓝色的曲线是等高线（水平集），即函数 ${\displaystyle F}$ 为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达碗底，即函数 ${\displaystyle F}$ 值最小的点。

应用

对给定数据集拟合多元线性回归方程

如果变量只有一个，我们高中都学过最小二乘法直接求出回归线的参数（斜率、截距），下面我们用梯度下降求多元线性回归方程的参数。

如果我们已经有了一个n个变量的m个元素的数据集 $\{(X_i {(x_1 , x_2 , ... , x_n )},y_i) | i=1,2,...,m\}$,设待求参数向量为$A(a_0,a_1,a_2,...,a_n)$ ，我们设一个函数

$$f(X)=f(x_1,x_2,...,x_n)=a_0+a_1x_1+a_2x_2+...+a_nx_n$$

为了方便我们取
$X_i(x_0=1,x_1 , x_2 , ... , x_n)$

那么

$$f(X)=f(x_0=1,x_1,x_2,...,x_n)=a_0x_0+a_1x_1+a_2x_2+...+a_nx_n=A\cdot X$$

我们定义损失函数，（为什么这样定义，因为该函数具有反应离理想目标误差程度的特性，并且方便计算）

$$J(A)=\frac{1}{2m}\sum_{i=1}^{m}{(A\cdot X_i - y_i)^2}$$

现在我们需要求 $J(A)$ 取最小值时 $A$ 的取值

我们随机取一个点 $A_0$， 可以求得

$$\nabla J(A_0)=(\frac {\partial J(A)}{\partial a_0},\frac {\partial J(A)}{\partial a_1},...,\frac {\partial J(A)}{\partial a_n})$$
对于任意 $k = 0,1,...,n$
$$\frac {\partial J(A_0)}{\partial a_k}=\frac{1}{m}\sum_{i=1}^{m}{x_k(A_0\cdot X_i - y_i)}$$
$其中x_k 是 X_i(x_0,x_1,...,x_n)中的x_k$

我们取一个适当的步长 $\gamma$，对参数 $A_0$ 进行修正，即每次令

$$A_k=A_{k-1}-{\gamma_{k-1}}\cdot {\nabla J(A_0)}$$

重复以上过程，直至 $J(A)$ 不再变小我们就找到了待求的 $A(a_0,a_1,a_2,...,a_n)$

如有谬误 恳请指正
By chutpzah
参考 :
1. 维基 梯度下降法
2. 梯度下降（Gradient Descent）小结
3. 同济大学《高等数学》