花书学习——深度模型中的优化

8 深度模型中的优化

8.1 学习和纯优化有和不同

• 机器学习经常是间接作用的

我们关注某些度量$P$，其定义于测试集上并且可能是不可理解的。因此，我们只是间接优化$P$。我们希望通过降低代价函数$J(\theta )$来提高$P$。纯优化问题最小化目标本身。

通常 ，代价函数可写为训练集上的平均，如$$J(\theta )=E_{(x,y)\approx {\hat{p}}_{data}}L(f(x;\theta ),y)$$$L$是每个样本的损失函数，$f(x;\theta )$是输入$x$时所预测的输出，${\hat{p}}_{data}$是经验分布。监督学习中，$y$是目标输出。
上式定义了训练集上的目标函数，通常我们希望最小化取自数据生成分布$p_{data}$的期望，而不仅仅是有限训练集上的对应目标函数：$$J(\theta )=E_{(x,y)\approx p_{data}}L(f(x;\theta ),y)$$

8.1.1 经验风险最小化

将一个机器学习问题转化成一个优化问题的最简单方法是最小化训练集上的期望损失。这意味着用训练集上的经验分布$\hat{p}(x,y)$替代真是分布$p(x,y)$。现在我们将最小化经验风险：$$E_{x,y\sim {\hat{p}}_{data}}[L(f(x;\theta ),y)]=\frac{1}{m}\sum _{i=1}^{m}L(f(x^{(i)};\theta ),y^{(i)})$$$m$代表样本数目。经验风险最小化容易过拟合。

8.1.2 代理损失函数和提前终止

有时候我们关注的损失函数（比如分类误差）并不能被高效的优化。例如，精确地最小化0-1损失函数通常是不可解的。在这种情况下，我们通常会优化代理损失函数。如负对数似然对0-1损失的代理。
机器学习通常优化代理损失函数，但是在基于提前终止的收敛条件满足时停止。通常，提前终止使用真实潜在损失函数，如验证集上的0-1损失，并设计为在过拟合发生之前终止。

8.1.3 批量算法和小批量算法

8.2 神经网络优化中的挑战

8.2.1 病态

病态体现在随机梯度下降会“卡”在某些情况，此时即使很小的更新步长也会增加代价函数。

8.2.2 局部极小值

8.2.3 高原、鞍点和其他平坦区域

鞍点附近某些点有更大的代价，有些点有更小的代价。多数随机函数表现如下性质：低维空间中，局部极小值很普遍。而在更高维空间中，局极小值很罕见，但是鞍点很常见。

8.2.4 悬崖和梯度爆炸

斜率较大的情况(多个较大的权重相乘导致)，可以使用梯度截断来避免后果。
当$|g|>u$时，用下面的梯度来替代原来的梯度值：$$g\leftarrow \frac{g}{||g||}u$$

8.2.5 长期依赖

变深的结构使模型丧失了学习到先前信息的能力。
假设某个计算图中包含一条反复与矩阵$W$相乘的路径。$t$步后，相当于乘以$W^t$。假设W有特征分解$W=V\Lambda V^{-1}$，则$$W^t=(V\Lambda V^{-1}{)}^t=V{\Lambda }^t{V}^{-1}$$当特征值${\lambda }_i$不在1附近时，若在量级上大于1会发生爆炸，小于1会发生梯度消失。梯度消失使得我们难以知道参数朝哪个方向移动能改进代价函数，梯度爆炸会使得学习不稳定。

8.2.6 非精确梯度

8.2.7 局部和全局结构间的弱对应

8.2.8 优化的理论限制

8.3 基本算法

8.3.1 随机梯度下降

按照数据生成分布抽取$m$个小批量(独立同分布的)样本，通过计算它们梯度均值，我们可以得到梯度的无偏估计。

8.3.2 动量

动量主要解决两个问题：$Hessian$矩阵的病态条件和随机梯度的方差。更新式为
$$v\leftarrow \alpha v-ϵ{\nabla }_{\theta }(\frac{1}{m}\sum _{i=1}^{m}L(f(x^{(i)};\theta ),y^{(i)}))$$$$\theta \leftarrow \theta +v$$速度$v$累积了梯度元素 ${\nabla }_{\theta }(\frac{1}{m}{\sum }_{i=1}^{m}L(f(x^{(i)};\theta ),y^{(i)}))$。相对于$ϵ$，$\alpha$越大，之前梯度对现在方向的影响也越大。
之前步长只是梯度范数乘以学习率，现在，步长取决于梯度序列的大小和排列。当许多连续的梯度指向相同的方向时，步长最大。如果动量算法总是观测到梯度$g$，那么它会在方向$-g$上不停加速，直到达到最终速度，其中步长大小为
$$ϵ||g||/(1-\alpha )$$因此将动量的超参数设置为$1/(1-\alpha )$有助于理解。例如，$\alpha =0.9$对应着最大速度10倍于梯度下降算法。

吴恩达版本的动量描述和本书有所不同
$v\leftarrow \beta v+(1-\beta )g$
$w\leftarrow w-ϵv$

8.3.3 Nesterov动量

更新规则如下
$$v\leftarrow \alpha v-ϵ{\nabla }_{\theta }[\frac{1}{m}\sum _{i=1}^{m}L(f(x^{(i)};\theta +\alpha v),y^{(i)})]$$$$\theta \leftarrow \theta +v$$
在凸批量梯度的情况下，Nesterov动量将额外误差收敛率从$O(1/k)$(k步后)改进到$O(1/k^2)$。但是在随机梯度的情况下，它没有改进收敛率。

8.4 参数初始化策略

8.5 自适应学习率算法

8.5.1 AdaGrad

$$g\leftarrow \frac{1}{m}{\nabla }_{\theta }\sum _{i}L(f(x^{(i)};\theta ),y^{(i)})$$$$r\leftarrow r+g\odot g$$$$\Delta \theta \leftarrow -\frac{ϵ}{\delta +\sqrt{r}}\odot g(逐元素)$$$$\theta \leftarrow \theta +\Delta \theta$$
$AdamGrad$旨在应用于凸问题时快速收敛，当应用于非凸函数训练神经网络时，学习轨迹可能穿过了很多不同的结构，最终到达一个局部是凸碗的区域。而且它根据整个平方梯度的历史收缩学习率，可能使得学习率在到达这样的凸结构之前就变得太小了。$RMSProp$使用指数衰减平均以丢弃遥远过去的历史，使其能够在找到凸碗结构后快速收敛。

8.5.2 RMSProp

$$g\leftarrow \frac{1}{m}{\nabla }_{\theta }\sum _{i}L(f(x^{(i)};\theta ),y^{(i)})$$$$r\leftarrow \rho r+(1-\rho )g\odot g$$$$\Delta \theta =-\frac{ϵ}{\sqrt{r+\delta }}\odot g$$$$\theta \leftarrow \theta +\Delta \theta$$
上面的算法相比较AdaGrad来说，将平方累积换成了指数累积，$\rho$用来控制平均的历史数目。

$r_i=\alpha r_{i-1}+(1-\alpha )v_i=\alpha (1-\alpha )v_{i-1}+{\alpha }^2(1-\alpha )v_{i-2}+...+{\alpha }^{i-1}(1-\alpha )v_1$
$\alpha =0.9$时，${\alpha }^{10}\approx 1/e$，$\alpha =0.98$时，${\alpha }^{50}\approx 1/e$
$$(1-\alpha {)}^{1/\alpha }\approx \frac{1}{(1-\alpha {)}^{-1/\alpha }}=1/e$$

使用Nesterov动量的RMSProp算法
$$\hat{\theta }\leftarrow \theta +\alpha v$$$$g\leftarrow \frac{1}{m}{\nabla }_{\hat{\theta }}\sum _{i}L(f(x^{(i)};\theta ),y^{(i)})$$$$r\leftarrow \rho r+(1-\rho )g\odot g$$$$v\leftarrow \alpha v-\frac{ϵ}{\sqrt{r}}\odot g(\frac{1}{\sqrt{r}}逐元素应用)$$$$\theta \leftarrow \theta +v$$

8.5.3 Adam

$$g\leftarrow \frac{1}{m}{\nabla }_{\hat{\theta }}\sum _{i}L(f(x^{(i)};\theta ),y^{(i)})$$更新有偏一阶矩估计：$$s\leftarrow {\rho }_{1}s+(1-{\rho }_1)g$$更新有偏二阶矩估计：$$r\leftarrow {\rho }_{2}r+(1-{\rho }_2)g\odot g$$修正一阶矩的偏差：$$\hat{s}\leftarrow \frac{s}{1-{\rho }_1^t}$$修正二阶矩的偏差：$$\hat{r}\leftarrow \frac{r}{1-{\rho }_2^t}$$
计算更新：$$\Delta \theta =-ϵ\frac{\hat{s}}{\sqrt{\hat{r}}+\delta }(逐元素应用)$$应用更新：$$\theta \leftarrow \theta +\Delta \theta$$

8.6 二阶近似方法

经验风险$$J(\theta )=E_{x,y\sim {\hat{p}}_{data}(x,y)}[L(f(x;\theta ),y)]=\frac{1}{m}\sum _{i=1}^{m}L(f(x^{(i)},\theta ),y^{(i)})$$

8.6.1 牛顿法

牛顿法是基于二阶泰勒级数展开在某点${\theta }_0$附近来近似$J(\theta )$的优化方法，其忽略了高阶导数：$$J(\theta )\approx J({\theta }_0)+(\theta -{\theta }_0{)}^T{\nabla }_{\theta }J(\theta )+\frac{1}{2}(\theta -{\theta }_0{)}^{T}H(\theta -{\theta }_{)})$$其中$H$是$J$相对于$\theta$的$Hessian$矩阵在${\theta }_0$处的估计。如果我们再求解这个函数的临界点，将得到牛顿参数更新规则$${\theta }^{\ast }={\theta }_0-H^{-1}{\nabla }_{\theta }J({\theta }_0)$$

令${\nabla }_{\theta }J(\theta )=0$得到上面的结论

因此，对于局部的二次函数(具有正定的$H$)，用$H^{-1}$重新调整梯度，牛顿法会直接跳到极小值。如果目标函数是凸的但非二次的(有高阶项)，该更新将是迭代的，得到和牛顿法相关的算法。
对于非二次的表面，只要Hessian矩阵保持正定，牛顿法能够迭代地应用。这意味着一个两步迭代过程。首先更新或计算Hessian逆，其次更新参数。

牛顿法只适用于$Hessian$矩阵是正定的情况。在深度学习中，目标函数的表面通常是非凸的，如鞍点。如果H矩阵不都是正的，靠近鞍点处，牛顿法实际上会导致更新朝错误的方向移动。这种情况可以通过正则化$H$矩阵来避免。常用的正则化策略包括在Hessian矩阵对角线上加上常数$\alpha$。正则化更新变为$${\theta }^{\ast }={\theta }_0-[H(f({\theta }_0))+\alpha I{]}^{-1}{\nabla }_{\theta }f({\theta }_0)$$
缺点：

• 当负特征值很大时，$\alpha$需要足够大，但是$\alpha$太大，求逆矩阵会变得由$\alpha I$指导
• 计算复杂，对于大型神经网络H的逆很难求解

8.6.2 共轭梯度

8.6.3 BFGS

8.7 优化策略和元算法

8.7.1批标准化

非常深的模型会涉及多个函数或层组合。在其他层不变的假设下，梯度用于如何更新每一个参数。在实践中，我们同时更新所有层。当我们进行更新时，可能会发生一些意想不到的结果，这是因为许多组合在一起的函数同时改变时，计算更新的假设是其他函数保持不变。

对于输入而言，将输入进行归一化有利于神经网络的训练。类似的，在深层网络中，这一层的输出是下一层的输入，对输出值进行归一化有助于下一层的网络训练。
归一化公式：
$u=\frac{1}{m}{\sum }_i{z}^i$，${\sigma }^2=\frac{1}{m}{\sum }_i(z^i-u{)}^2$
$z_{norm}^i=\frac{z^i-u}{\sqrt{{\sigma }^2+ϵ}}$
$\widehat{z^i}=\gamma \cdot z_{norm}^i+\beta$
$\gamma$和$\beta$用来学习神经网络在本层中学习到的特征，如果只进行batch norm，会破坏神经网络学习到的分布结构。
矩阵形式：
$H^{\prime }=\frac{H-u}{\sigma }$
$u=\frac{1}{m}{\sum }_i{H}_{i,:}$
$\sigma =\sqrt{\delta +\frac{1}{m}{\sum }_i(H-u{)}_i^2}$
($H_{i,j}$减去$u_j$，再除以${\sigma }_j$)