0901-2丢弃法

丢弃法
     

方法：
      在“多层感知机”中，描述了一个单隐藏层的多层感知机，其中输入个数为4，隐藏单元个数为5，且隐藏单元ℎ𝑖（𝑖=1,…,5）的计算表达式为

                                                                     

 

这里𝜙是激活函数，𝑥1,…,𝑥4是输入，隐藏单元𝑖的权重参数为𝑤1𝑖,…,𝑤4𝑖，偏差参数为𝑏𝑖。

     当对该隐藏层使用丢弃法时，该层的隐藏单元将有一定概率被丢弃掉。设丢弃概率为𝑝， 那么有𝑝的概率ℎ𝑖会被清零，有1−𝑝的概率ℎ𝑖会除以1−𝑝做拉伸。丢弃概率是丢弃法的超参数。具体来说，设随机变量𝜉𝑖为0和1的概率分别为𝑝和1−p。使用丢弃法时我们计算新的隐藏单元

                                                                                   

 

由于𝐸(𝜉𝑖)=1−𝑝，因此

                                                                             

 

即丢弃法不改变其输入的期望值。

       那么让我们对“多层感知机”中图的隐藏层使用丢弃法，一种可能的结果如下图所示。

                                                          

 

       在图中ℎ2和ℎ5被清零，这时输出值的计算不再依赖ℎ2和ℎ5，在反向传播时，与这两个隐藏单元相关的权重的梯度均为0。由于在训练中隐藏层神经元的丢弃是随机的，即ℎ1,…,ℎ5都有可能被清零，输出层的计算无法过度依赖ℎ1,…,ℎ5中的任一个，从而在训练模型时起到正则化的作用，并可以用来应对过拟合。

      在测试模型时，为了得到更加确定性的结果，一般不使用丢弃法。

推理中的丢弃法

丢弃概率多取0.5， 0.9， 0.1

Dropout是一个正则项，对模型更新不明显，对。 求梯度对称

 dropout 随机丢弃，精度高，随机性让模型更稳定

只是在训练中把神经元丢弃，预测中神经元不丢弃