模型优化算法

一、 模型的优化算法

1.1 基于梯度下降的方法

1.1.1样本量

• 批量梯度下降BGD（Batch Gradient Dencent）
• 随机梯度下降SGD（Stochastic Gradient Descent）
• mini-batch GD

1.1.2. 学习率的更新方法

• 动量法momentum（引入了动量项）
• Nesterov accelerated gradient（NAG,预测下一时刻的位置）

---

二阶方法，调整学习率

• Adagrad（每个参数单独调节）
• Adelta（防止Adagrad中的学习率一直减小）
• RMSprop(Adelta实例化)
• Adam(梯度、梯度方的历史加权平均值)
• Adamax（Adam的二范数变为无穷范数，更稳定）
  
  
  
  

1.2. 牛顿法系列

1.2.1. 牛顿法
1.2.2. 拟牛顿法

• DFP
• BGFS
• L-BGFS(待完成)
• Broyden

---

二. 具体算法

2.1.1批量梯度下降

根据所有样本的损失，更新模型参数。

以逻辑斯蒂回归模型为例，训练集有m个样本$X(x_1,x_2,...,x_m)$，误差函数是交叉熵误差函数，批量梯度下降法的计算过程如下：

1. 对于每个输入$x$,计算模型输出$\hat{y}$. $\hat{y}=\sigma (w^{T}x+b)$ .其中$\sigma (z)=\frac{1}{1+e^{-z}}$.(注：初始化$w,b$)
2. 计算$m$个样本的交叉熵损失，取平均值，得到关于$w,b$的损失值
   $$J(w,b)=\frac{1}{m}\sum _{i=1}^m(L({\hat{y}}_i),y_i)=-\frac{1}{m}\sum _{i=1}^m(y_{i}log{\hat{y}}_i+(1-y_i)log(1-{\hat{y}}_i))$$
3. 计算$J(w,b)$关于$w,b$的偏导$dw=\frac{\partial J(w,b)}{\partial w}$,$db=\frac{\partial J(w,b)}{\partial b}$
4. 更新$w,b$ $w=w-lr\ast dw,b=b-lr\ast db$,$lr$是学习率.
5. 重复步骤1~4，达到终止条件结束算法。

2.1.2 随机梯度下降

单个样本输入后，计算得到损失后，更新模型参数。

以逻辑斯蒂回归模型为例，训练集有m个样本$X(x_1,x_2,...,x_m)$，误差函数是交叉熵误差函数，随机梯度下降法的计算过程如下：

1. 对于任意一个输入$x_i$,计算模型输出$\widehat{y_i}$. $\widehat{y_i}=\sigma (w^T{x}_i+b)$ .其中$\sigma (z)=\frac{1}{1+e^{-z}}$.(注：初始化$w,b$)
2. 计算输入$x_i$的交叉熵损失$$J_i(w,b)=L({\hat{y}}_i,y_i)=y_{i}log{\hat{y}}_i+(1-y_i)log(1-{\hat{y}}_i)$$
3. 计算$J_i(w,b)$关于$w,b$的偏导$dw=\frac{\partial J_i(w,b)}{\partial w}$,$db=\frac{\partial J_i(w,b)}{\partial b}$
4. 更新$w,b$ $w=w-lr\ast dw,b=b-lr\ast db$,$lr$是学习率.
5. 重复步骤1~4，达到终止条件结束算法。

2.1.3 mini-Batch梯度下降

根据小批量n个样本的损失，更新模型参数。

以逻辑斯蒂回归模型为例，训练集有m个样本$X(x_1,x_2,...,x_m)$，误差函数是交叉熵误差函数，批量梯度下降法的计算过程如下：

1. 对于小批量的n个样本中的每个输入$x$,计算模型输出$\hat{y}$. $\hat{y}=\sigma (w^{T}x+b)$ .其中$\sigma (z)=\frac{1}{1+e^{-z}}$.(注：初始化$w,b$)
2. 计算$n$个样本的交叉熵损失，取平均值，得到关于$w,b$的损失值
   $$\begin{gathered} J(w,b)=\frac{1}{n}\sum _{i=1}^n(L({\hat{y}}_i),y_i) \\ =-\frac{1}{n}\sum _{i=1}^n{y}_{i}log{\hat{y}}_i+(1-y_i)log(1-{\hat{y}}_i) \end{gathered}$$
3. 计算$J(w,b)$关于$w,b$的偏导$dw=\frac{\partial J(w,b)}{\partial w}$,$db=\frac{\partial J(w,b)}{\partial b}$
4. 更新$w,b$ $w=w-lr\ast dw,b=b-lr\ast db$,$lr$是学习率.
5. 重复步骤1~4，达到终止条件结束算法。

2.2 梯度更新算法¹

2.2.1 动量法

问题背景

下图所示，红点是最小值点。为了到达红点，如果使用较大的学习率，则会出现紫线画出的发散现象，如果使用较小的学习率，如蓝线所示，收敛的速度比较慢。因此，希望有种学习方法，能在纵轴上减小摆动，在横轴上，希望加快学习。这里就需要每次横轴和纵轴的更新量不同，如果使用$w=w-lr\ast dw$，则达不到这种效果。

方法引入

动量法在原始权值梯度$dw$的基础上，增加了上一时刻的更新量${\upsilon }_{t-1}$。
$${\upsilon }_t=\gamma {\upsilon }_{t-1}+\eta {▽}_{\theta }J(\theta )$$
$$\theta =\theta -{\upsilon }_t$$

2.2.2 Nesterov 梯度加速法（Nesterov Accelerated Gradient）

问题背景

寻找最小值的过程，就像小球下山，小球在下山的过程中，速度会一直增加，这样会冲过最低点，然后又冲下来。我们希望小球到山底附近时，会自动减速，停在最小值处。

方法引入

$\theta -{\upsilon }_t$是下一时刻小球所在位置的近似估计。通过计算函数关于下一时刻的梯度表示参数的梯度方向。
$${\upsilon }_t=\gamma {\upsilon }_{t-1}+\eta {▽}_{\theta }J(\theta -{\upsilon }_t)$$
$$\theta =\theta -{\upsilon }_t$$

短的蓝色 当前梯度 棕色和长的蓝色 更新的累积梯度 绿色 最终的更新值

这种更新方法可以阻止更新过快而越过最小值点而使响应速度提高。

2.2.3 Adagrad

问题背景

我们能够根据误差函数的斜率调整更新量并加速SGD，我们还希望根据每个参数的重要性来调整每个参数的更新量

Adagrad 是一种基于梯度的优化算法。它调整参数的学习率的规则： larger updates for infrequent and smaller updates for frequent parameters（怎么翻呢？）
SGD的更新规则如下：

$$g_{t,i}={▽}_{{\theta }_t}J({\theta }_{t,i})$$
$${\theta }_{t+1,i}={\theta }_{t,i}-\eta \cdot g_{t,i}$$
$G_t\in R^{d\times d}$是对角阵，对角上的元素$(i,i)$是累积到$t$时刻的梯度的平方。
其中$g_{t,i}$表示参数${\theta }_i$在时间$t$时的梯度。
Adagrad算法每次单独更新每个参数:
$${\theta }_{t+1,i}={\theta }_{t,i}-\frac{\eta }{\sqrt{G_{t,ii}+\epsilon }}\cdot g_{t,i}$$
其中$\epsilon$是平滑项，防止除数为0.

向量化后：

Adagrad的主要缺点是，训练过程中，分母中的梯度平方项一直在增加，这会使学习率越来越小，从而导致模型无法继续学习。

2.2.4 Adadelta

当前时刻参数梯度平方的均值
$$E[g^2{]}_t=\gamma E[g^2{]}_{t-1}+(1-\gamma )g_t^2$$
Adagrad参数的更新量

用$E[g^2{]}_t$代替$G_t$，得
$$\Delta {\theta }_t=-\frac{\eta }{\sqrt{E[g^2{]}_t+\epsilon }}{g}_t$$
分母是梯度RMSE的校正，用RMSE代替后：
$$\Delta {\theta }_t=-\frac{\eta }{RMSE([g{]}_t)}{g}_t$$
完整的Adadelta算法：
$$E[g^2{]}_t=\gamma E[g^2{]}_{t-1}+(1-\gamma )g_t^2\text{(}1)$$
$$\Delta {\theta }_t=-\frac{\eta }{RMSE([g{]}_t)}{g}_t\text{(}2)$$

• Adadelta 与 Adagrad相比，在分母上做了处理，避免学习率一直减小。

2.2.5 RMSprop

RMSprop是Adadelta的实例化，$\gamma =0.9$.
$$E[g^2{]}_t=0.9E[g^2{]}_{t-1}+0.1g_t^2\text{(}1)$$
$$\Delta {\theta }_t=-\frac{\eta }{\sqrt{E[g^2{]}_t+\epsilon }}{g}_t$$

2.2.6 Adam( Adaptive Moment Estimation)

Adam，Adaptive Moment Estimation，自适应动量评估。Adam除了像Adadelta和RMSprop那样保存历史指数衰梯度方的均值，还保存了历史指数衰减动量的均值
$$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$
$${\nu }_t={\beta }_1{\nu }_{t-1}+(1-{\beta }_2)g_t^2$$
$m_t，{\nu }_t$初始化为0，在初始阶段这二者趋于0，为了解决这个问题，引入了偏差修正:$${\hat{m}}_t=\frac{m_t}{1-{\beta }_1}$$,$${\nu }_t=\frac{{\nu }_t}{1-{\beta }_2}$$
Adam的参数更新规则：
$$\Delta {\theta }_t=-\frac{\eta }{\sqrt{{\hat{\nu }}_t+\epsilon }}{\hat{m}}_t$$

2.2.7 AdaMax

AdaMax将Adam中的分母的计算推广到了$\infty$范数

Adamax更新规则

2.3.1 牛顿法

为了便于理解用牛顿法优化目标函数，首先介绍单个变量牛顿法，用于数值分析中求近似解。具体参考，得到的近似解的推导公式为：
$$x_{n+1}=x_n-\frac{f(x^n)}{f^{{}^{\prime }}(x^n)}$$

引入 ：对于多元变量，在某点处的导数变成了海塞矩阵（Hesse matrix）.海塞矩阵是一个多元函数二阶偏导构成的矩阵。$f(x)$具有二阶连续偏导，$f(x)$的海塞矩阵$H(x)$为
$$H(x)=[\frac{{\partial }^{2}f}{\partial x_i\partial x_j}{]}_{n\times n}$$

考虑无约束的最优化问题
$$\underset{x\in R^n}{\min }f(x)$$

• 思考
  1. 写出$f(x)$在$x_k$处的泰勒展式$f(x)=f(x_k)+g_k^T(x-x_k)+\frac{1}{2}(x-x_k)H(x_k)(x-x_k{)}^T+...$
  2. 求$f(x)$的极值的必要条件是$f^{\prime }(x)=0$,$g_k^T+H(x_k)(x-x_k)=0$,
  3. 牛顿法求解g(x)=0

以下源自²

2.3.2 拟牛顿法

计算$H_k^{-1}$比较麻烦，
（B.12）或（B.13）是拟牛顿的条件

2.3.2.1 拟牛顿法-DFP（Davidon-Fletcher-Powell）算法

DFP算法用$G_k$来近似$H_k^{-1}$

2.3.2.2 拟牛顿法-BFGS（Broyden-Fletcher-Goldfarb-Shanno）算法

BFGS算法用$B_k$来近似$H_k$

2.3.2.3$\ast$ 拟牛顿法-Broyden类算法

三、Pytorch中的优化器

Pytorch中的优化器有以下一些：

1. Adadelta
2. Adagrad
3. Adam
4. SparseAdam
5. Adamax
6. ASGD
7. LBFGS
8. RMSprop
9. Rprop
10. SGD

一些解释参考

关于Adagrad算法，连个新词：激励收敛和惩罚收敛

安利编辑公式的链接：
在线公式编辑
数学公式输入方法

---

1. Ruder S . An overview of gradient descent optimization algorithms[J]. 2016. ↩︎

2. 李航. 统计学习方法[M]. 清华大学出版社, 2012. ↩︎