[工程优化]梯度下降(Gradient descent):SGD/BGD、牛顿法(Newton‘s method)【附详细代码】

---

引用

Wikipedia:Gradient descent
Wikipedia:Newton’s method

---

Preliminaries

先要了解一下术语及前导知识。

目标/代价/损失/误差函数

1. 我们称需要最大化或最小化的函数为目标函数(Objective Function)或准则(Criterion)。特别地，当进行最小化搜索时，也将其称为代价函数(Cost Function)、损失函数(Loss Function)、误差函数(Error Function)。
   $$\underset{x}{\min }f(x)$$

在工程优化中，常见称为目标函数地情况多些。在机器学习中，由于优化目标常常是目标真实值和预测值间的偏差，所以称呼为代价函数、损失函数的情况多一些。

2. 在数域$X$上搜索得到一个$\hat{x}$，使得目标函数目标函数取得最小/大值的过程称为参数搜索。
3. 我们将搜索得到的能使目标函数取得最小/大值的参数估计值$x$称为最优参数估计值，记为$x^{\ast }$。
4. 对于大部分函数及优化、搜索算法，并不能保证得到一个全局最优的参数估计值，此时称之为极大/极小点。

局部最优、全局最优与驻点、鞍点

1. 在搜索过程中获得一个最优值$x_0$时，使得当$f(x_0)$取得全局最小值时，该解$x_0$为全局最优解；反之，其为局部最优解。

2. 凸函数的局部最优值就是全局最优值，局部最优解属于全局最优解集。

3. 对于一个$n$维的目标函数$f(x)$，对于$x_0\in X^n$当此处的偏导数$f^{\prime }(x_0)=0$，且此时$f(x_0)$为一个局部极大/极小小值，称该点为一个驻点或临界点；若此时$f(x_0)$在某个维度上稳定(极大/极小)，在其它至少一个维度上不稳定（仍有下降/上升空间），则其为鞍点。

驻点与鞍点的存在，都意味着对目标函数的参数搜索陷入了某种算法困境；因为无论朝任意哪个法向看去，其导数方向都为0，不可能再通过梯度下降等方式寻得更优值。对于此类困境，退火算法等智能算法进行了一定上的解决。

导数与偏导数、梯度

1. 对于一维函数$f(x)$，其导数定义为：
   $$f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$
2. 对于多维函数$f(x_1,...,x_n)$，对$x_i$求导数$\frac{df}{d{x}_i}$，将其记为偏导数$\frac{\partial f}{\partial x_I}$。特别的，记录梯度$▽f(x)$或简记为$▽f$为对$x_i$求偏导后的列向量：
   $$▽f(x)=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_1}{)}^T$$

常见函数的梯度与海森矩阵

给定向量$a$、$b$、$x$，矩阵$A$，$H_{f(x)}$是函数$f(x)$的海森矩阵：
$$\begin{array}{rl}g(x)=a^{T}x+b\to ▽& g(x)=a\\ & H_{g(x)}=0\\ g(x)=x^{T}x\to ▽& g(x)=2x\\ & H_{g(x)}=2H_{f(x)}\\ g(x)=x^{T}Ax\to ▽& g(x)=(A+A^T)x\\ & H_{g(x)}=(A+A^T)H_{f(x)}\\ g(x)=x^{T}Ax+a^{T}x+b\to ▽& g(x)=(A+A^T)x+a\\ & H_{g(x)}=(A+A^T)H_{f(x)}\end{array}$$

方向导数与下降方向

• 设有 单位向量$h=(h_1,h_2,...,h_n{)}^T\in {\mathbb{R}}^n$，表示为$n$维空间中的一个方向，对于$n$元函数$f(x)$，若$\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\alpha h)-f(x_0)}{\alpha }$存在，则称该极限值为$f(x)$在$x_0$处沿方向$h$的方向导数，记作$\frac{\partial f(x_0)}{\partial h}$。如图所示：
  
  根据导数的定义不难得到：
  $$\begin{array}{rl}\frac{\partial f(x_0)}{\partial h}& =\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\alpha h)-f(x_0)}{\alpha }\\ & =\underset{\Delta x\to 0}{\lim }\frac{▽f(x_0{)}^T(\alpha h)+o(\parallel \alpha h\parallel )}{\alpha }\\ & =▽f(x_0{)}^{T}h\\ & =\parallel ▽f(x_0)\parallel \cos (▽f(x_0),h)\end{array}$$
• 当$\frac{\partial f(x_0)}{\partial h}<0$称$h$为$f(x)$在$x_0$处的一个下降方向；反之称为上升方向。
• 使得 ∂ f ( x 0 ) ∂ h < 0 \frac{\par