深度学习之dropout

dropout原始论文

为了防止训练过拟合，在训练过程中随机丢弃一部分输出（经常有人说随机丢弃掉一些神经元，感觉不是很准确）

左图不使用dropout

对于第$l$层的输出$y_i^l$，直接进行线性变化，然后经过激活函数,得到第$l+1$层的输出$y_i^{l+1}$

$\begin{array}{rl}{z}_i^{(l+1)}& ={\mathbf{w}}_i^{(l+1)}{\mathbf{y}}_i^l+b_i^{(l+1)},\\ y_i^{(l+1)}& =f\left(z_i^{(l+1)}\right),\end{array}$

右图使用dropout

先按照伯努利分布，概率为$p$采样，得到$r_i^{(l)}$, 与第$l$层的输出$y_i^l$维度相同。两者对应位置相乘，对$y_i^l$中的部分位置置0，得到dropout后的 ${\tilde{\mathbf{y}}}_i^l$. 最后进行线性变化，经过激活函数,得到第$l+1$层的输出$y_i^{l+1}$

$\begin{array}{rl}{r}_i^{(l)}& \sim \mathrm{Bernoulli}(p)\\ {\tilde{\mathbf{y}}}_i^{(l)}& ={\mathbf{r}}_i^{(l)}\ast {\mathbf{y}}_i^{(l)}\\ z_i^{(l+1)}& ={\mathbf{w}}_i^{(l+1)}{\tilde{\mathbf{y}}}_i^l+b_i^{(l+1)}\\ y_i^{(l+1)}& =f\left(z_i^{(l+1)}\right)\end{array}$

实现代码

import numpy as np

def dropout(x, prob):
    if prob < 0. or prob >= 1:  # prob概率值，在0~1之间
        raise Exception('Dropout prob must be in interval [0, 1[.')
    retain_prob = 1. - prob
    # 通过binomial函数，生成与x一样的维数向量
    sample = np.random.binomial(n=1, p=retain_prob, size=x.shape)
    # 二项分布，当n=1时，即为伯努利分布
    # 即将生成一个0、1分布的向量，0表示丢掉对应位置x的数值
    print(sample)
    x *= sample
    print(x)
    x /= retain_prob
    # infer时不进行dropout，从而保持输出的结果稳定
    return x

x = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10], dtype=np.float32)
y = dropout(x, 0.4)
print(y)

个人理解

其中，代码第14行 x /= retain_prob 是对原始的x进行rescale，那么为什么要进行 rescale呢？可能是为了保持训练和测试的时候网络输出的期望一致

假设丢弃概率是p, 原始论文中的dropout（vanilla版本）在测试时做rescale

• 训练时，使用dropout，对于网络中的某个输出值x，期望变为 (1-p)x+p0=(1-p)x
• 为了保持测试过程（没有dropout）期望一致，在测试时，对于相应层输出乘以1-p

inverted 版本，在训练时做rescale

• 训练时，使用dropout，对于网络中的某个输出值x，期望变为 (1-p)x+p0=(1-p)x
• 为了保持测试过程（没有dropout）期望一致，在训练时， 对包含dropout的输出乘1/(1-p), 使得期望仍然为1/(1-p)*(1-p)x = x，即代码中所使用的方法。从而保证测试时不需要对代码进行修改

参考

https://blog.csdn.net/hjimce/article/details/50413257