丢弃法为什么可以防止过拟合

丢弃法为什么和weight decay（L2 norm）一样也能达到防止过拟合的效果。

什么是丢弃法：

当我们对该隐藏层使⽤丢弃法时，该层的隐藏单元将有⼀定概率被丢弃掉。设丢弃概率为p，那么
有p 的概率hi 会被清零，有1 􀀀 p 的概率hi 会除以1 􀀀 p 做拉伸。丢弃概率是丢弃法的超参数。

h1,h2,h3,h4, h5是五个隐藏层的神经元。

在反向传播时，与这两个隐藏单元相关的权重的梯度均为0。由于在训练中隐藏层神经元的丢弃是随机的，即h1; : : : ; h5
都有可能被清零。这样输出层的计算都⽆法过度依赖h1; : : : ; h5 中的任⼀个，从而在训练模型时，

起到正则化的作⽤，并可以⽤来应对过拟合。在测试模型时，我们为了拿到更加确定性的结果，
⼀般不使⽤丢弃法。