Dropout层到底在干些什么（Pytorch实现）

一、基本概念

1.正则化（Regularization）：通过对问题的求解目标增加一定的先验限制或约束，引导问题的求解。
2.过拟合（Overfitting）：指所得网络泛化能力差，表现为网络训练误差小，测试误差大，网络在训练集上表现极好，而在测试集上表现一般甚至很差。
3.伯努利分布（Bernoulli distribution）：对于随机变量X，有参数p（0<p<1），分别以概率p、1-p取1、0为值。记为X~B(1,p)，表示一次伯努利实验中X为1的概率为p。
4.Dropout通过对其输入进行一定概率的“舍弃”起到一种正则化的作用，可有效缓解网络过拟合。

二、Dropout工作原理

1.Dropout工作流程

对于一个正常的全连接网络而言，当前层每个神经元的值由前一层所有神经元共同决定，对于输入X，沿着网络前向传播，然后将误差回传，以此更新神经元之间的权重以及偏置参数。
当我们对其中的隐藏层使用Dropout后，隐藏层中的神经元以一定概率“睡眠”，通过对其随机置零实现，其更新参数的过程也发生了一些改变，具体地，过程如下