机器学习，最优化数值计算常用算法

一 机器学习表示及数值求解原理

大部分机器学习，尤其是神经网络、深度网络，最优化一个经验损失函数（通常带有正则项），损失函数在某个样本点可表示为：$L(\vec\beta, X^{(i)})$,在训练样本上的期望损失函数表示为$L(\vec\beta)=\frac{1}{n}\sum_{i=0}^{n}L(\vec\beta, X^{(i)})$训练就是给定在样本上寻找期望损失函数$L(\vec\beta)$全局最小值所在的参数$\vec\beta$即：

$$\vec\beta^* = \underset{\vec\beta \in \Theta}{arg \,min}\,L(\vec\beta))$$
通用的损失函数最优化的数值方法，来源于泰勒展开式，多元函数的泰勒展开式可表示为：
$$L(\vec\beta+t\vec\alpha)=L(\vec\beta)+\sum_{i=1}^{n}(\sum_{j=1}^{p}(t\alpha_j\frac{\partial}{\partial \beta_j})^iL(\vec\beta)) +o(t^n)\quad \forall \Vert\vec\alpha\Vert^2=1$$

1.1 一阶逼近

一阶泰勒展开式为：

$$L(\vec\beta+t\vec\alpha)=L(\vec\beta)+t\nabla L(\vec\beta)\vec\alpha + o(t)\quad \forall \Vert\vec\alpha\Vert^2=1$$

给定$\vec\beta,\Vert\vec\alpha\Vert^2=1,t>0$的条件下，忽略高阶项，在$\vec\alpha=s\nabla L(\vec\beta)，s=\Vert\vec\nabla L(\vec\beta)\Vert^{-1}$时，有最小值。

$$L(\vec\beta-t\vec\alpha)=L(\vec\beta)-t\Vert\vec\nabla L(\vec\beta)\Vert\\ $$
因此在一阶条件下，最速下降法参数迭代的数值更新公式为:
$$\vec\beta\leftarrow \vec\beta-t\vec\nabla L(\vec\beta,X) \quad(1)$$

1.2 二阶逼近

可以对损失函数进行二阶展开，展开式可以表示为：

$$L(\vec\beta+t\vec\alpha)=L(\vec\beta)+t\nabla L(\vec\beta)\vec\alpha +t^2\vec\alpha^t\nabla^2 L(\vec\beta)\vec\alpha+ o(t^2)\quad \forall \Vert\vec\alpha\Vert^2=1$$
二阶条件下，给定 $\vec\beta,\Vert\vec\alpha\Vert^2=1,t>0$的条件下， $L(\vec\beta+t\vec\alpha)$取得最小值的必要条件是：
$$\nabla L(\vec\beta) +t\nabla^2 L(\vec\beta)\vec\alpha=0\\ ta=-(\nabla^2 L(\vec\beta))^{-1}*\nabla L(\vec\beta)$$
此时 $\vec\beta$的更新参数是：
$$\vec\beta\leftarrow\vec\beta-(\nabla^2 L(\vec\beta))^{-1}*\nabla L(\vec\beta) \quad(2)$$

以上（1）（2）两式是数值求解损失函数的基本方法，不断迭代参数$\vec\beta$，理想情况下每一步迭代都有$L(\vec\beta^{(k+1)})\le L(\vec\beta^{(k)})$，反复迭代更新$\vec\beta$得到$L(\vec\beta)$的局部最小值，从而求得$\vec\beta^*$,这就是最优化数值求解的基本思想。
迭代求解的过程，就是机器学习的训练过程，机器学习就是在给定模型和样本的情况下，求解参数$\vec\beta^*$.

二 一阶方法

所有一阶方法，都源于损失函数的一次泰勒逼近（线性逼近），主要是对(1)式的改造，重点是处理$\nabla L(\vec\beta)$.

2.1 梯度下降法（GradDescend）

最基础的梯度下降法，参数更新方程就是（1）式。这一方法的弊端在机器学习 –超参数调优中很详细的讨论过了。还有一个问题，就是梯度下降法是锯齿状前进的。
假设上一步搜索的沿梯度方向$\vec v_{t-1}$前进,并且在此方向上搜索到了参数$\vec \beta_{t}$， β