神经网络

感知机

1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts基于神经元的生理特征，建立了单个神经元的数学模型（MP模型）

实际上没啥依据

1957年，Frank Rosenblatt从纯数学的度重新考察这一模型，指出能够从一些输入输出对 中通过学习算法获得权重$\mathbf{w}$和$b$ 。（这被认为是第一个机器学习算法，SVM是90年代的算法）

问题：给定一些输入输出对$(\mathbf{x},y)$，其中$y=\pm 1$，求一个函数，使：$f\left(\mathbf{x}\right)=y$

感知机算法：设定$f\left(\mathbf{x}\right)=sign\left({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b\right)$，从一堆输入输出中自动学习，获得权重$\mathbf{w}$和$b$ 。

感知器算法（Perceptron Algorithm）:

对于样本数据$(\mathbf{x},y)$

1. 随机选取$\mathbf{w}$和$b$
2. 取一个训练样本$\left({\mathbf{x}}_{\mathbf{i}},y_i\right)$，
   • 若${\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b>0$且$y_i=-1$，则：$\mathbf{w}=\mathbf{w}-{\mathbf{x}}_{\mathbf{i}},b=b-1$
   • 若${\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b<0$且$y_i=+1$，则：$\mathbf{w}=\mathbf{w}+{\mathbf{x}}_{\mathbf{i}},b=b+1$
3. 再取另外一个$\left({\mathbf{x}}_{\mathbf{i}},y_i\right)$，回到（2）
4. 终止条件：直到所有输入和输出对都不满足（2）中的任意一条，退出循环

关于调整$\mathbf{w}$和$b$ 的一点点直观的解释：（和梯度下降法推导出来的不同，这里是原论文的方法，比较naive）

若${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b>0$且$y=-1$，则：$\mathbf{w}=\mathbf{w}-\mathbf{x},b=b-1$，于是有：
${\mathbf{w}}_{\text{新}}^T\mathbf{x}+b_{\text{新}}={\left(\mathbf{w}-\mathbf{x}\right)}^T\mathbf{x}+b-1=\left({\mathbf{w}}^T\mathbf{x}+b\right)-\left(\Vert \mathbf{x}{\Vert }^2+1\right)$
$\left(\Vert \mathbf{x}{\Vert }^2+1\right)$是大于1的正数，它会把${\mathbf{w}}^T\mathbf{x}+b$往负的方向调整。
${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b<0$时同理

Frank Rosenblatt从数学上证明了，若数据集线性可分，那么以上的算法一定会收敛，下图是感知机在二维特征空间画出的一条直线

注意，感知机画出的直线与SVM有很大不同。感知机画出的直线只是做到了划分正负样本，而没有像SVM那样有最大的margin（毕竟SVM是90年代的东西，感知机早了将近半个世纪）

感知机算法收敛定理

刚刚我们提到了，Frank Rosenblatt从数学上证明了，若数据集线性可分，那么感知机算法一定会收敛。下面我们加以证明：

首先，为下面证明过程书写方便，

定义增广矩阵$\mathbf{X}$：

• 若$y=+1$，则$\mathbf{X}=\left[\begin{array}{c}\mathbf{x}\\ 1\end{array}\right]$
• 若$y=-1$，则$\mathbf{X}=\left[\begin{array}{c}-\mathbf{x}\\ -1\end{array}\right]$

定义增广矩阵$\mathbf{W}=\left[\begin{array}{c}\mathbf{w}\\ b\end{array}\right]$

然后我们重写感知机算法：

对于样本数据$\mathbf{X}$

1. 随机选取$\mathbf{W}$
2. 取一个训练样本${\mathbf{X}}_{\mathbf{i}}$
   • 若${\mathbf{W}}^{\mathbf{T}}{\mathbf{X}}_{\mathbf{i}}<0$且$y_i=-1$，则：$\mathbf{W}=\mathbf{W}+{\mathbf{X}}_{\mathbf{i}}$
3. 再取另外一个${\mathbf{X}}_{\mathbf{i}}$，回到（2）
4. 终止条件：直到所有输入和输出对都不满足（2）中的任意一条，退出循环

感知机算法收敛定理：

若样本数据集 { X i } i ∼ N \left\{ \boldsymbol{X}_i \right\} _{i\sim N} {Xi​}i∼N​线性可分，即$\exists {\mathbf{W}}_{opt}$，使
$${\mathbf{W}}_{opt}^T{\mathbf{X}}_i>0\left(i=1\sim N\right)$$
则利用上述感知机算法，经过有限步后，得到一个$\mathbf{W}$，使
$${\mathbf{W}}^T{\mathbf{X}}_i>0\left(i=1\sim N\right)$$

proof：不失一般性，设$\Vert {\mathbf{W}}_{opt}\Vert =1$，假设第k步时的$\mathbf{W}$是$\mathbf{W}(k)$，且有一个${\mathbf{X}}_{\mathbf{i}}$使得$\mathbf{W}(k{)}^{\mathbf{T}}{\mathbf{X}}_{\mathbf{i}}<0$。根据感知机算法可以推导出：
$$\begin{gathered} \mathbf{W}\left(k+1\right)=\mathbf{W}\left(k\right)+{\mathbf{X}}_{\mathbf{i}}\to \Vert \mathbf{W}\left(k+1\right)-a{\mathbf{W}}_{opt}{\Vert }^2=\Vert \mathbf{W}\left(k\right)-a{\mathbf{W}}_{opt}+{\mathbf{X}}_{\mathbf{i}}{\Vert }^2 \\ \Vert \mathbf{W}\left(k\right)-a{\mathbf{W}}_{opt}+{\mathbf{X}}_{\mathbf{i}}{\Vert }^2=\Vert \mathbf{W}\left(k\right)-a{\mathbf{W}}_{opt}{\Vert }^2+\Vert {\mathbf{X}}_{\mathbf{i}}{\Vert }^2+2\mathbf{W}{\left(k\right)}^T{\mathbf{X}}_{\mathbf{i}}-2a{\mathbf{W}}_{opt}^T{\mathbf{X}}_i \end{gathered}$$

注意到$\mathbf{W}{\left(k\right)}^T{\mathbf{X}}_{\mathbf{i}}<0$以及${\mathbf{W}}_{opt}^T{\mathbf{X}}_i>0$，则一定可以取很大的$a$，使得

$\Vert \mathbf{W}\left(k+1\right)-a{\mathbf{W}}_{opt}{\Vert }^2<\Vert \mathbf{W}\left(k\right)-a{\mathbf{W}}_{opt}{\Vert }^2$

定义： β = max ⁡ i = 1 ∼ N { ∥ X i ∥ } , γ = min ⁡ i = 1 ∼ N { W o p t T X i } \beta =\underset{i=1\sim N}{\max}\left\{ \lVert \boldsymbol{X}_i \rVert \right\} , \gamma =\underset{i=1\sim N}{\min}\left\{ \boldsymbol{W}_{opt}^{T}\boldsymbol{X}_i \right\} β=i=1∼Nmax​{∥Xi​∥},γ=i=1∼Nmin​{WoptT​Xi​}，取$a=\frac{{\beta }^2+1}{2\gamma }$，则
$$\Vert \mathbf{W}\left(k+1\right)-a{\mathbf{W}}_{opt}{\Vert }^2<\Vert \mathbf{W}\left(k\right)-a{\mathbf{W}}_{opt}{\Vert }^2-1$$
取$D=\Vert \mathbf{W}\left(0\right)-a{\mathbf{W}}_{opt}\Vert$，则至多经过$D^2$步，$\mathbf{W}$将会收敛至$a{\mathbf{W}}_{opt}$

（注意是在条件$\mathbf{W}(k{)}^{\mathbf{T}}{\mathbf{X}}_{\mathbf{i}}<0$下，才有$\mathbf{W}$将会收敛至$a{\mathbf{W}}_{opt}$，而通常情况下这个条件很快就会消失。这个证明的意思是，若数据线性可分，并且很难线性划分，${\mathbf{W}}_{opt}$几乎是唯一划分的选择，那么感知机最终也会收敛到${\mathbf{W}}_{opt}$这个决策平面）

多层神经网络

1969年，Minsky指出了感知机没办法处理非线性可分的数据，在日常生活中很多分类问题是非线性的，人工智能进入了第一次冬天。

在80年代，人们创造了多层神经网络（Multiple Layer Neural Networks），从而可以实现对非线性可分数据集的分类，人工智能从新复苏。

下面是一个两层神经网络的例子：

若$\varphi\left( \cdot \right) $为线性函数，则多层神经网络和单层没有区别

定理：当$\phi \left(x\right)=u(x)$（即阶跃函数）时，三层网络可以模拟任意决策面

反向传播算法

反向传播算法（Back Propogation Algorithm）：从后往前计算各个参数的偏导数，然后使用梯度下降法对模型进行训练，最终达到收敛。

以上图为例：

首先定义误差函数：$E=\frac{1}{2}{\left(y-Y\right)}^2$，其中$y$为前向传播计算出的模型输出，$Y$为数据标签，优化目标为最小化$E$

模型中代求的偏导数为：
$$\begin{array}{rl}& \frac{\partial E}{\partial w_1}=\frac{dE}{dy}\frac{\partial y}{\partial w_1}=\left(y-Y\right)z_1\\ & \frac{\partial E}{\partial w_2}=\frac{dE}{dy}\frac{\partial y}{\partial w_2}=\left(y-Y\right)z_2\\ & \frac{\partial E}{\partial w_{11}}=\frac{dE}{dy}\frac{\partial y}{\partial z_1}\frac{d{z}_1}{d{a}_1}\frac{\partial a_1}{\partial {\omega }_{11}}=\left(y-Y\right){\omega }_1{\phi }^{\prime }\left(a_1\right)x_1\\ & \frac{\partial E}{\partial w_{12}}=\frac{dE}{dy}\frac{\partial y}{\partial z_1}\frac{d{z}_1}{d{a}_1}\frac{\partial a_1}{\partial {\omega }_{12}}=\left(y-Y\right){\omega }_1{\phi }^{\prime }\left(a_1\right)x_2\\ & \frac{\partial E}{\partial w_{21}}=\frac{dE}{dy}\frac{\partial y}{\partial z_2}\frac{d{z}_2}{d{a}_2}\frac{\partial a_2}{\partial {\omega }_{21}}=\left(y-Y\right){\omega }_2{\phi }^{\prime }\left(a_2\right)x_1\\ & \frac{\partial E}{\partial w_{22}}=\frac{dE}{dy}\frac{\partial y}{\partial z_2}\frac{d{z}_2}{d{a}_2}\frac{\partial a_2}{\partial {\omega }_{22}}=\left(y-Y\right){\omega }_2{\phi }^{\prime }\left(a_2\right)x_2\\ & \frac{\partial E}{\partial b_1}=\frac{dE}{dy}\frac{\partial y}{\partial z_1}\frac{d{z}_1}{d{a}_1}\frac{\partial a_1}{\partial b_1}=\left(y-Y\right){\omega }_1{\phi }^{\prime }\left(a_1\right)\\ & \frac{\partial E}{\partial b_2}=\frac{dE}{dy}\frac{\partial y}{\partial z_2}\frac{d{z}_2}{d{a}_2}\frac{\partial a_2}{\partial b_2}=\left(y-Y\right){\omega }_2{\phi }^{\prime }\left(a_2\right)\\ & \frac{\partial E}{\partial b_3}=\frac{dE}{dy}\frac{\partial y}{\partial b_3}=\left(y-Y\right)\end{array}$$

上面是一个小例子以帮助理解。

下面我们对反向传播算法进行向量化，并得到他的一般形式：

首先给出神经网络的向量化数学表达式

这是神经网络的第一层，记输入为$\mathbf{x}$，$\mathbf{x}$是一个$N\times 1$向量，$N$是输入特征的维数。

${\mathbf{w}}^{\left(1\right)}$为第一层的参数矩阵：
$${\mathbf{w}}^{\left(1\right)}=\left[\begin{array}{cccc}{w}_{11}^{\left(1\right)}& w_{12}^{\left(1\right)}& \cdots & w_{1N}^{\left(1\right)}\\ w_{21}^{\left(1\right)}& w_{22}^{\left(1\right)}& \cdots & w_{2N}^{\left(1\right)}\\ ⋮& & & ⋮\\ w_{M1}^{\left(1\right)}& w_{M2}^{\left(1\right)}& \cdots & w_{MN}^{\left(1\right)}\end{array}\right]$$
则有：
$$\mathbf{x}\Rightarrow {\mathbf{w}}^{\left(1\right)}\mathbf{x}+{\mathbf{b}}^{\left(1\right)}={\mathbf{z}}^{\left(1\right)}\stackrel{\phi }{\to }{\mathbf{a}}^{\left(1\right)}=\phi \left({\mathbf{z}}^{\left(1\right)}\right)$$

关于维数和上下标的说明：$\mathbf{b}$，$\mathbf{z}$和$\mathbf{a}$都是列向量，维数取决于这一层的行数，比如上图第一层有M个神经元，则${\mathbf{b}}^{(1)}$，${\mathbf{z}}^{(1)}$和${\mathbf{a}}^{(1)}$都是M维列向量；上标表示第几层，下标表示连接关系。例如${\mathbf{w}}_{ij}^{\left(k\right)}$表示第$(k-1)$层的第$j$个输出到第$(k)$层的第$i$个神经元的参数。

PS：$\mathbf{x}={\mathbf{a}}^{\left(0\right)}$

那么多层神经网络就是上面的重复级联，每一层的行数不一定相等。为方便表示，我们默认一共有$l$层，则：
$$\begin{array}{rl}\mathbf{x}& \Rightarrow {\mathbf{w}}^{\left(1\right)}\mathbf{x}+{\mathbf{b}}^{\left(1\right)}={\mathbf{z}}^{\left(1\right)}\stackrel{\phi }{\to }{\mathbf{a}}^{\left(1\right)}\\ & \Rightarrow {\mathbf{w}}^{\left(2\right)}{\mathbf{a}}^{\left(1\right)}+{\mathbf{b}}^{\left(2\right)}={\mathbf{z}}^{\left(2\right)}\stackrel{\phi }{\to }{\mathbf{a}}^{\left(2\right)}\\ & \Rightarrow \cdots \cdots \cdots \cdots \cdots \cdots \cdots \stackrel{\phi }{\to }{\mathbf{a}}^{\left(l-1\right)}\\ & \Rightarrow {\mathbf{w}}^{\left(l\right)}{\mathbf{a}}^{\left(l-1\right)}+{\mathbf{b}}^{\left(l\right)}={\mathbf{z}}^{\left(l\right)}\stackrel{\phi }{\to }{\mathbf{a}}^{\left(l\right)}=\mathbf{y}\end{array}$$
为方便计算，我们定义：${\delta }_i^{\left(m\right)}=\frac{\partial E}{\partial z_i^{\left(m\right)}}$

1. 最后一层$(m=l)$
   $$\begin{array}{rl}{\delta }_i^{\left(l\right)}& =\frac{\partial E}{\partial z_i^{\left(l\right)}}=\frac{\partial E}{\partial y_i}\frac{\partial y_i}{\partial z_i^{\left(l\right)}}\\ & =\left(y_i-Y_i\right){\phi }^{\prime }\left(z_i^{\left(l\right)}\right)\end{array}$$

2. 非最后一层$(m=1\sim l-1)$
   $$\begin{array}{rl}{\delta }_i^{\left(m\right)}& =\frac{\partial E}{\partial z_i^{\left(m\right)}}=\frac{\partial E}{\partial a_i^{\left(m\right)}}\frac{\partial a_i^{\left(m\right)}}{\partial z_i^{\left(m\right)}}\\ & =\left(\sum _{j=1}^{S_{m+1}}\frac{\partial E}{\partial a_i^{\left(m+1\right)}}\right){\phi }^{\prime }\left(z_i^{\left(m\right)}\right)\\ & =\left(\sum _{j=1}^{S_{m+1}}{w}_{ji}^{\left(m+1\right)}{\delta }_j^{\left(m+1\right)}\right){\phi }^{\prime }\left(z_i^{\left(m\right)}\right)\end{array}$$

这就是反向传播算法的名词由来，先计算最后的偏导数，再逐层向前推进

计算出${\delta }_i^{\left(m\right)}$后，可以很方便计算出：
$$\begin{array}{rl}& \frac{\partial E}{\partial w_{ij}^{\left(m\right)}}=\frac{\partial E}{\partial z_i^{\left(m\right)}}\frac{\partial z_i^{\left(m\right)}}{\partial w_{ij}^{\left(m\right)}}={\delta }_i^{\left(m\right)}{a}_j^{\left(m-1\right)}\\ & \frac{\partial E}{\partial b_i^{\left(m\right)}}=\frac{\partial E}{\partial z_i^{\left(m\right)}}\frac{\partial z_i^{\left(m\right)}}{\partial b_i^{\left(m\right)}}=\frac{\partial E}{\partial z_i^{\left(m\right)}}={\delta }_i^{\left(m\right)}\end{array}$$

BP算法：

1. 随机初始化$\left(\mathbf{w},\mathbf{b}\right)$

2. 训练样本$\left(\mathbf{x},\mathbf{Y}\right)$，输入网络前向传播可求出所有的$\left(\mathbf{z},\mathbf{a},\mathbf{y}\right)$

3. 通过上述迭代方法计算出$\left(\frac{\partial E}{\partial w_{ij}^{\left(m\right)}},\frac{\partial E}{\partial b_i^{\left(m\right)}}\right)$

4. 更新：
   $$\begin{array}{rl}& {\mathbf{w}}^{\left(\text{新}\right)}={\mathbf{w}}^{\left(\text{旧}\right)}-\alpha \frac{\partial E}{\partial \mathbf{w}}{\mid }_{{\mathbf{w}}^{\left(\text{旧}\right)}}^{}\\ & {\mathbf{b}}^{\left(\text{新}\right)}={\mathbf{b}}^{\left(\text{旧}\right)}-\alpha \frac{\partial E}{\partial \mathbf{b}}{\mid }_{{\mathbf{b}}^{\left(\text{旧}\right)}}\end{array}$$

5. 回到(2)，跳出循环条件：$\left(\frac{\partial E}{\partial w_{ij}^{\left(m\right)}},\frac{\partial E}{\partial b_i^{\left(m\right)}}\right)$足够小，或者$E$足够小

这是通过反向传播算法（BP算法）训练多层神经网络的基本方法，但是训练多层神经网络特别是深层神经网络是个错综复杂的问题，下面会讨论到。

激活函数$\phi (\cdot )$的选择

若使用感知机的激活函数$\phi \left(x\right)=u(x)$，则${\phi }^{\prime }\left(x\right)\equiv 0$（不考虑奇异函数，在x=0不可导就当x=0无定义）

由于${\phi }^{\prime }\left(x\right)\equiv 0$导致使用反向传播算法计算出来的关于各个参数的偏导数为0，则没有办法用梯度下降法优化模型，因此必须更换激活函数$\phi \left(\cdot \right)$

1. sigmoid函数

sigmoid函数是阶跃函数的模拟，并且做到了处处可导。
$$\begin{gathered} \phi \left(x\right)=\frac{1}{1+e^{-x}} \\ {\phi }^{\prime }\left(x\right)=\phi \left(x\right)\left[1-\phi \left(x\right)\right] \end{gathered}$$

2. tanh函数

   
   $$\begin{gathered} \phi \left(x\right)=\tanh \left(x\right)=\frac{e^x-e^{-x}}{e^x+e^{-x}} \\ {\phi }^{\prime }\left(x\right)=1-{\phi }^2\left(x\right) \end{gathered}$$

以上的激活函数都有一个问题，就是在x远离原点处的导数为0，这在深度网络的反向传播中通常会出现梯度消失（弥散）的现象，导致深层网络难以训练的问题。因此在深度学习出现以后，常常采用以下激活函数。

3. ReLU函数

   修正线性单元（Rectify Linear Units）

φ ( x ) = { x , x > 0 0 , x ⩽ 0 = max ⁡ { 0 , x } φ ′ ( x ) = { 1 , x > 0 0 , x < 0 \varphi \left( x \right) =\begin{cases} x, x>0\\ 0, x\leqslant 0\\ \end{cases}=\max \left\{ 0,x \right\} \\ \varphi '\left( x \right) =\begin{cases} 1, x>0\\ 0, x< 0\\ \end{cases} φ(x)={x,x>00,x⩽0​=max{0,x}φ′(x)={1,x>00,x<0​

在x>0时的梯度弥散现象得到解决，但x<0时仍然存在梯度弥散现象

4. Leak ReLU函数
   
   $$\begin{gathered} \phi \left(x\right)=\{\begin{array}{l}x,x>0\\ \beta x,x⩽0\end{array} \\ {\phi }^{\prime }\left(x\right)=\{\begin{array}{l}1,x>0\\ \beta ,x<0\end{array} \end{gathered}$$

神经网络参数设置方法

随机梯度下降

随机梯度（Stochastic Gradient Descent, SGD）

1. 不用每输入一个样本就去变换参数，而是输入一批样本（叫做一个BATCH或MINI-BATCH），求出这些样本的梯度平均值后，根据这个平均值改变参数。(GD是BATCH为1的SGD)
2. 在神经网络训练中，BATCH的样本数大致设置为50-200不等。

激活函数选择

训练数据初始化

标准差$std$也可以用$(max-min)$来代替

$(\mathbf{w},b)$的初始化

梯度消失现象：如果${\mathbf{w}}^T\mathbf{x}+b$一开始很大或很小，那么梯度将趋近于0，反向传播后前面与之相关的梯度也趋近于0，导致训练缓慢。 因此，我们要使${\mathbf{w}}^T\mathbf{x}+b$一开始在零附近。

一种比较简单有效的方法是：$(\mathbf{w},b)$初始化从区间$\left(-\frac{1}{\sqrt{d}},\frac{1}{\sqrt{d}}\right)$均匀随机取值。其中$d$为$(\mathbf{w},b)$所在层的神经元个数。

可以证明，如果$\mathbf{x}$服从正态分布，均值0，方差1，且各个维度无关，而$(\mathbf{w},b)$是$\left(-\frac{1}{\sqrt{d}},\frac{1}{\sqrt{d}}\right)$的均匀分布，则${\mathbf{w}}^T\mathbf{x}+b$是均值为0， 方差为1/3的正态分布。

参数初始化是一个研究热点领域

Batch normalization

论文：Batch normalization accelerating deep network training by reducing internal covariate shift (2015)

基本思想：既然我们希望每一层获得的值都在0附近，从而避免梯度消失现象，那么我们为什么不直接把每一层的值做基于均值和方差的归一化呢？

对$\gamma$和$\beta$的说明：以sigmoid和tanh为例，若归一化后的样本过于聚集在0附近，则激活函数对外表现出几乎的线性，这是我们不希望看到的。因此增加了$\gamma$和$\beta$两个待学习的参数，使归一化在避免梯度消失和失去非线性中权衡。

目标函数选择

1. 可加正则项 （Regulation Term）
   $$L\left(w\right)=F\left(w\right)+R\left(w\right)=\frac{1}{2}\left(\sum _{i=1}^{batchsize}\Vert y_i-Y_i{\Vert }^2+\beta \sum _k\sum _l{w}_{k,l}^2\right)$$

2. 如果是分类问题，$F(w)$可以采用Softmax函数和交叉熵的组合

   （a）Softmax函数

   

$$q_i=\frac{\exp \left(z_i\right)}{{\sum }_{j=1}^N\exp \left(z_j\right)},\sum _{i=1}^N{q}_i=1$$

（b）交叉熵（Cross Entropy）
$$E=-\sum _{i=1}^N{Y}_i\log \left(y_i\right)$$

交叉熵可以作为误差函数，上面我们使用的误差函数为MSE，即$E=\frac{1}{2}{\sum }_{i=1}^N\Vert y_i-Y_i{\Vert }^2$。对于交叉熵，当$p$和$q$的分布越相近时，$E$的值越小。

综上，我们可以使用Softmax函数和交叉熵的组合作为目标函数：
$$E=-\sum _{i=1}^N{p}_i\log \left(q_i\right)$$

并且它的求导将会有非常简单的形式：$\frac{\partial E}{\partial z_i}=q_i-p_i$

参数更新策略

1. 常规的更新 （Vanilla Stochastic Gradient Descent）

nn.W{k} = nn.W{k} - nn.learning_rate*nn.W_grad{k};
nn.b{k} = nn.b{k} - nn.learning_rate*nn.b_grad{k};

SGD的问题：

（1）$(\mathbf{w},b)$的每一个分量获得的梯度绝对值有大有小，一些情况下，将会迫使优化路径变成Z字形状

（2）SGD求梯度的策略过于随机，由于上一次和下一次用的是完全不同的BATCH数据，将会出现优化的方向随机的情况。

2. AdaGrad（解决各个方向梯度不一致问题）

基本思想是：（1）引入了累计梯度的思想，希望这个梯度可以受过去梯度的影响；（2）对每一个梯度做了均值化，原来梯度大的地方变小一些，原来梯度小的地方放大一些，避免Z字形下降。

3. RMSProp（解决各个方向梯度不一致问题）

与AdaGrad唯一的区别是$\gamma \leftarrow \rho \gamma +\left(1-\rho \right)g\odot g$，引入了一个新的参数$\rho$用于权衡过去梯度和现在梯度的权值

4. Momentum（解决梯度随机性问题）

nn.vW{k} = 0.5*nn.vW{k} + nn.learning_rate*nn.W_grad{k};
 
nn.vb{k} = 0.5*nn.vb{k} + nn.learning_rate*nn.b_grad{k};
            
nn.W{k} = nn.W{k} - nn.vW{k};
nn.b{k} = nn.b{k} - nn.vb{k}; %rho = 0.5;

Momentum（动量）考虑了上一个梯度的对当前梯度的影响（AdaGrad和RMSProp考虑的是累计梯度对当前梯度的影响，没有Momentum那么有“冲劲”）

5. Adam（同时解决两个问题）
   

$r$是累计梯度，作为$\bigtriangleup\varTheta $的分母可以解决各个方向梯度不一致；$s$是动量梯度，作为$\bigtriangleup \varTheta $的分子可以解决梯度随机性问题

训练建议

（1）一般情况下，在训练集上的目标函数的平均值（cost）会随着训练的深入而不断减小，如果这个指标有增大情况，停下来。有两种情况：第一是采用的模型不够复杂，以致于不能在训练集上完全拟合；第二是已经训练很好了。

（2）分出一些验证集（Validation Set）,训练的本质目标是在验证集上获取最大的识别率。因此训练一段时间后，必须在验证集上测试识别率，保存使验证集上识别率最大的模型参数，作为最后结果。

（3）注意调整学习率（Learning Rate）,如果刚训练几步cost就增加，一般来说是学习率太高了；如果每次cost变化很小，说明学习率太低。

（4） Batch Normalization 比较好用，用了这个后，对学习率、参数更新策略等不敏感。建议如果用Batch Normalization, 更新策略用最简单的SGD即可，我的经验是加上其他反而不好。

（5）如果不用Batch Normalization, 我的经验是，合理变换其他参数组合，也可以达到目的。

（6）由于梯度累积效应，AdaGrad, RMSProp, Adam三种更新策略到了训练的后期会很慢，可以采用提高学习率的策略来补偿这一效应。