神经网络训练加速、增加稀疏性操作（Dropout、GN、BN、LRN）

增加稀疏性（降低过拟合风险）----Dropout、LRN

Dropout

        Dropout是怎么做到防止过拟合的呢？首先，想象我们现在只训练一个特定的网络，当迭代次数增多的时候，可能出现网络对训练集拟合的很好，但是对验证集的拟合程度很差的情况。所以，我们有了这样的想法：可不可以让每迭代随机的去更新网络参数，引入这样的随机性就可以增加网络generalize 的能力。所以就有了dropout 。

        Dropout说的简单一点就是：我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征，如图所示。

                                                             

Dropout工作流程：

假设我们要训练这样一个神经网络，如左侧图所示。然后，输入是x输出是y，正常的流程是：我们首先把x通过网络前向传播，然后把误差反向传播以决定如何更新参数让网络进行学习。使用Dropout之后，过程变成如下：

(1) 首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变（右侧图中虚线为部分临时被删除的神经元）

(2) 然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（w，b）。

(3) 然后继续重复这一过程：恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）。从隐藏层神经元中随机选择一个一半大小的子集临时删除掉（备份被删除神经元的参数）对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数（w，b）。