Dropout 理论基础与实战细节

Dropout: A Simple Way to Prevent Neural Networks from Overfitting

• 对于 dropout 层，在训练时节点保留率（keep probability）为某一概率 $p$（0.5），在预测时（前向预测时）为 1.0；

1. dropout 网络与传统网络的区别

传统网络：

• $z_{i}^{(\ell+1)}=\sum_j w_{ij}^{(\ell+1)}\cdot y_j^{(\ell)}+b_i^{(\ell+1)}=\mathbf w_i^{(\ell+1)}\mathbf y^{(\ell)}+b_i^{(\ell+1)}$
• • $y_i^{(\ell+1)}=f(z_{i}^{(\ell+1)})$

而对于 dropout 型网络：

• $r_j^{(\ell)}\sim \text{Bernoulli}(p)$
• $\widetilde{\mathbf y}^{(\ell)}=\mathbf r^{(\ell)}* \mathbf y^{(\ell)}$
• $z_{i}^{(\ell+1)}=\sum_j w_{ij}^{(\ell+1)}\cdot \widetilde y_j^{(\ell)}+b_i^{(\ell+1)}=\mathbf w_i^{(\ell+1)}\widetilde{\mathbf y}^{(\ell)}+b_i^{(\ell+1)}$
• $y_i^{(\ell+1)}=f(z_{i}^{(\ell+1)})$

由此可见 dropout 的应用应在 relu 等非线性激活函数之后，

-> CONV/FC -> BatchNorm -> ReLu(or other activation) -> Dropout -> CONV/FC ->；