深度学习中的dropout原理

1. 为什么要引入dropout

• 解决过拟合问题：模型参数太多，训练样本往往是高维小样本数据，训练出来的模型容易产生过拟合现象。过拟合的具体表现：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数较大，准确率低

• 减少训练模型的处理时间：解决过拟合往往会采用集成算法，即训练多个模型进行组合。是很浪费时间

2. 什么是Dropout
训练深度神经网络向前传播的时候，让某个神经元的激活值以一定的概率P停止工作，使得模型的泛化能力更强，因为它不会太依赖于某些局部的特征

3. Dropout工作流程以及使用

输入是x输出是y，正常的流程是：我们首先把x通过网络前向传播，然后把误差反向传播以决定如何更新参数让网络进行学习。使用Dropout之后，过程变成如下：

（1）首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变（图3中虚线为部分临时被删除的神经元）
（2） 然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（w，b）。

（3）然后继续重复这一过程：
. 恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）
. 从隐藏层神经元中随机选择一个一半大小的子集临时删除掉（备份被删除神经元的参数）。
. 对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数（w，b） （没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果）。

4. Dropout在神经网络中的具体应用

• 训练模型阶段
  -
  没有Dropout的网络计算公式：
  
  . 采用Dropout的网络计算公式：
  
  上面公式中Bernoulli函数是为了生成概率r向量，也就是随机生成一个0、1的向量。

  代码层面实现让某个神经元以概率p停止工作，实际上就是他的激活函数值以概率P变成0.比如某一层网络神经元的个数为1000，其激活函数输入为y1y2…y1000，dropout比率选择0.4,那么该层神经元经过dropout后，1000个神经元中大约有400个神经元会被置为0

• 测试模型阶段
  每个神经元的权重参数要乘以概率P