Dropout

论文：https://arxiv.org/abs/1207.0580

博客代码：https://blog.csdn.net/l494926429/article/details/51943564

 

一个师兄在找工作面试过程中碰到手写dropout算法，写个博客学习并记录一下

Bagging基于自助采样算法：

   给定包含m个样本的数据集D，我们对它进行采样产生数据集D’：每次随机从D中挑选一个样本，将其拷贝放入D’，然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采样到；这个过程重复执行m次后，我们就得到了包含m个样本的数据集D’，这就是自助采样的结果

 

Dropout

假设我们要训练这样一个神经网络，如图2所示。

输入是x输出是y，正常的流程是：我们首先把x通过网络前向传播，然后把误差反向传播以决定如何更新参数让网络进行学习。使用Dropout之后，过程变成如下：

（1）首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变（图3中虚线为部分临时被删除的神经元）

                                                                                 

（2） 然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（w，b）。

（3）然后继续重复这一过程：

• . 恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）
• . 从隐藏层神经元中随机选择一个一半大小的子集临时删除掉（备份被删除神经元的参数）。
• . 对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数（w，b） （没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果）。
• 不断重复这一过程。

理解：

• 由于随机让一些节点不工作了，避免了某些特定特征只有在固定组合下才生效，有意识的让网络去学习一些普遍的特性
• 与Bagging 有放回的采样训练多个模型相比，Dropout中的随机意味着每次训练只训练网络的一部分，而且其中大部分参数是共享的。即Dropout可以看做是训练多个模型，实际使用时采用了模型的平均作为输出。