[7]Training Neural Network(2)—训练神经网络

课堂问答

• A0: 下面关于优化算法的比较应该都是以凸优化问题举例的。
• Q1： 带有动量的SGD怎么处理不好的梯度方向？
• Q2: Dropout层在哪里使用？
• A2: 一般在全连接层后面添加DP使得某些神经元失活，当然也可以在卷积层后面添加，但是具体的做法使使得部分卷积核得到的激活图（activation map）置0.
• Q3: Dropout 对于梯度的回传有什么影响？
• A3: Dropout 使得梯度回传仅发生在部分神经元，使得我们的训练更加缓慢，但是最后的鲁棒性更佳。
• Q4: 一般，我们采用几种正则化方法？
• A4: 通常，我们会使用BN，因为其确实会起到正则化的作用。但是，我们一般不交叉验证需要使用哪些正则化方法，而是有的放矢
• 的，当我们发现模型过拟合了，适当的添加正则手段。

Fancier optimization（更好的优化）

1.1 SGD 优化

之前，我们介绍了一个简单的梯度更新算法 SGD，它是固定步长，沿着负梯度方向的更新：

但是，它也会有一些问题。

1.假设我们有损失函数L和二维的权重W，且损失L对于W的一个方向（维度）上变化不敏感（比如水平），对于另一个方向（例如竖直）变化则比较敏感，则按道理来说，如果沿着竖直方向更新，则我们的损失会下降的比较快。
但是 SGD 算法，使得我们沿着两个方向的合方向进行更新，整体上来讲就会呈现之字形（抖动），如下图，等高线表示沿着水平方向损失变化很小。

• 上述情况在一个高维矩阵上表现得更加明显，因为梯度的方向更加的复杂。

2. 比较容易陷入 局部最小值 和 鞍点

• 局部最小值梯度等于0，使得权重几乎无法更新；鞍点附近梯度很小，使得权重更新的很慢（特别是在高维的情况，鞍点特别多）。

3. SGD 是在一个样本上计算梯度，但是这样当样本数很多的时候，我们的计算量太大。所以，我们经常采用的是小批量（Mini-batch）SGD，但是这样的梯度是一个批量的估计值，可能会引入噪声，使得参数更新比较曲折。

1.2 基于动量的（Momentum）SGD

SGD+Momentum

• 即在我们的梯度项上加上一个动量项：