《动手学深度学习》批量归一化和残差网络；凸优化；梯度下降

批量归一化和残差网络

对全连接层做批量归一化

归一化增加在全连接层激活函数之前，全连接层输入为$u$，批量归一化运算符$BN$，那么使用批量归一化的全连接层的输出为：
$\varphi (\text{BN}(\mathbf{x}))$
其中批量归一化输入$x$由仿射变换
$x=Wu+b$得到
对于一个由$m$个样本组成的小批量，仿射变换的输出为一个新的小批量 $B=x^{(1)},...,x^{(m)}$，他们是批量归一化曾的输入。批量归一化层的输出为：
$y^{(i)}=BN(x^{(i)})$
批量归一化：求批量的均差和方差：
${\mathbf{\mu }}_{\mathcal{B}}\leftarrow \frac{1}{m}{\sum }_{i=1}^m{\mathbf{x}}^{(i)},{\mathbf{\sigma }}_{\mathcal{B}}^2\leftarrow \frac{1}{m}{\sum }_{i=1}^m({\mathbf{x}}^{(i)}-{\mathbf{\mu }}_{\mathcal{B}}{)}^2$
对$x^{(i)}$做归一化：
${\hat{\mathbf{x}}}^{(i)}\leftarrow \frac{{\mathbf{x}}^{(i)}-{\mathbf{\mu }}_{\mathcal{B}}}{\sqrt{{\mathbf{\sigma }}_{\mathcal{B}}^2+ϵ}}$
这⾥$ϵ>0$是个很小的常数，保证分母大于0
这便完成了归一化。之后引入两个可学习的模型参数，拉伸$\mathbf{\gamma }$偏移参数$\mathbf{\beta }$
做计算：
${\mathbf{y}}^{(i)}\leftarrow \mathbf{\gamma }\odot {\hat{\mathbf{x}}}^{(i)}+\mathbf{\beta }.$
若$\mathbf{\gamma }=\sqrt{{\mathbf{\sigma }}_{\mathcal{B}}^2+ϵ}$和$\mathbf{\beta }={\mathbf{\mu }}_{\mathcal{B}}$，批量归一化无效，即这两个参数保留了不对${\hat{\mathbf{x}}}^{(i)}$做归一化的可能。

对卷积层做批量归一化

归一化在卷积计算之后，激活函数之前。若输出多通道，则对各通道输出分别归一化，且每个通道都拥有独立的拉伸和偏移参数。

残差网络（ResNet）

在实践中，添加过多的层后训练误差往往不降反升。针对这一问题，何凯明等人提出了残差网络。

恒等映射：
左边：f(x)=x
右边：f(x)-x=0 （易于捕捉恒等映射的细微波动）

ResNet模型

卷积+
批量归一化+
激活函数ReLU+
最大池化+
残差块*4+
全局平均池化+
全连接

稠密连接网络（DenseNet）

与残差网络不同的是，稠密连接网络将相加变成了连结。
由于连结，会导致其通道数过大，所以在连结后增加过渡层，控制通道数。

过渡层

$1\times 1$卷积层+ -> 减小通道数
步幅$2$的平均池化层 -> 减半高和宽

DenseNet模型

卷积+
批量归一化+
激活函数ReLU+
最大池化层+
稠密块*4+
全局平均池化层+
全连接

凸优化

深度学习与凸优化

尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。
· 优化方法目标：训练集损失函数值
· 深度学习目标：测试集损失函数值（泛化性）

优化在深度学习中的挑战

1、局部最小值

在优化的过程中容易陷入局部最小值，虽然在局部梯度接近0，但是其效果并不好。
2、鞍点

落入如图马鞍面，目标函数在$x$轴方向上是局部最小值
但是在$y$轴方向是局部最大值。
3、梯度消失

优化落入梯度很小的位置，会使梯度下降很缓慢，优化过程很慢。

凸性

凸集： 如果$C$中任意两点间的线段仍然在$C$中，即对于任意$x_1,x_2\in C$和满足$0\le \theta \le 1$的$\theta$都有
$\theta x_1+(1-\theta )x_2\in C$
粗略的，如果集合中的每一个点都可以被其他点沿着它们之间一条无障碍的路径看见，那么这个集合就是凸集。
凸函数： 函数$f:R^n\to R$是凸的，如果$domf$是凸集，且对于任意$x,y\in domf$和任意$0\le \theta \le 1$，有：
$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$

Jensen不等式

${\sum }_i{\alpha }_{i}f\left(x_i\right)\ge f\left({\sum }_i{\alpha }_i{x}_i\right)\text{ and }{E}_x[f(x)]\ge f\left(E_x[x]\right)$

凸函数性质

1、无局部最小值
2、与凸集
对于凸函数$ f(x)$，定义集合 S b : = { x ∣ x ∈ X  and  f ( x ) ≤ b } S_{b}:=\{x | x \in X \text { and } f(x) \leq b\} Sb​:={x∣x∈X and f(x)≤b}，则集合 $S_b$ 为凸集
3、与二阶导数
$f^{{}^{\prime \prime }}(x)\ge 0⟺f(x)$是凸函数

梯度下降

一维

根据泰勒展开式：
$f(x+ϵ)=f(x)+ϵf^{\prime }(x)+\mathcal{O}\left({ϵ}^2\right)$
接下来找一个常数$\eta >0$，使得$|\eta f^{\prime }(x)|$足够小，可以将$ϵ$替换为$-\eta f^{\prime }(x)$并得到
$f\left(x-\eta f^{\prime }(x)\right)=f(x)-\eta f^{\prime 2}(x)+\mathcal{O}\left({\eta }^2{f}^{\prime 2}(x)\right)$
如果导数$f^{\prime }(x)=0$，那么$\eta f^{\prime }(x{)}^2>0$所以
$f\left(x-\eta f^{\prime }(x)\right)\lesssim f(x)$，这意味着，通过$x\leftarrow x-\eta f^{\prime }(x)$来迭代$x$，函数$f(x)$的值可能会降低。

多维

多维目标函数$f(x)$有关$x$的梯度是一个由$d$个偏导数组成的向量：
$\nabla f(\mathbf{x})={\left[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\dots ,\frac{\partial f(\mathbf{x})}{\partial x_d}\right]}^{\top }$
梯度中每个偏导数元素$\frac{\partial f(\mathbf{x})}{\partial x_i}$代表着$f$在$x$有关输入$x_i$的变化率。
我们定义$f$在$x$上沿着$u$方向的方向导数为
$D_{u}f(x)=li{m}_{h\to 0}\frac{f(x+hu)-f(x)}{h}$
根据方向导数性质，以上方向导数改写为
$D_{u}f(x)=\nabla f(x)\cdot u$
方向导数$D_{u}f(x)$给出了$f$在$x$上沿着所有可能方向的变化率，我们希望找到$f$能被降低最快的方向。
由于$D_{u}f(x)=||\nabla f(x)||\cdot ||u||\cdot cos(\theta )=||\nabla f(x)||\cdot cos(\theta )$，其中$\theta$为梯度$\nabla f(x)$和单位向量$u$之间的夹角，当$\theta =\pi$时，$cos(\theta )$取得最小值$-1$。因此，当$u$在梯度方向$\nabla f(x)$的相反方向时方向梯度$D_{u}f(x)$被最小化。
因此优化公式为：
$\mathbf{x}\leftarrow \mathbf{x}-\eta \nabla f(\mathbf{x})$