dropout的forward过程及backward反向传播过程

forward过程

假设以概率$p$丢弃$K$维输入向量$x=[x_1,x_2,,,x_K]$的某些值。
那么经过dropout之后的向量定义为$d$，有
$$x^{\prime }=dropout(x)$$
这个过程相当于生成一个随机的$K$维的mask，这个mask的生成过程如下：

$$\begin{gathered} r=rand(K)=[r_1,r_2,,,r_K]，其中0<r_i<1。 \\ mask=\{\begin{array}{r}0r_i<p\\ 1r_i\ge p\end{array} \end{gathered}$$
然后$x$与$mask$做对应元素点乘（这个操作记为$@$）。也就是
$$x^{\prime }=dropout(x)=x@mask$$
这样的设计的dropout会出现一些问题。在训练的时候，dropout工作，$x$经过dropout之后的期望为
$$E[x]=p\ast 0+(1-p)\ast x=(1-p)x$$
在测试的时候，dropout是不工作的，此时$x$的期望是$x$。这样导致训练和测试的期望不一样，模型会不稳定。为了让训练时候$x$的期望和测试时一直，一种做法是在训练时将dropout后的结果除以$1-p$。这时也就相当于将mask变为：
$$\begin{gathered} r=rand(K)=[r_1,r_2,,,r_K]，其中0<r_i<1。 \\ mask=\{\begin{array}{r}0r_i<p\\ \frac{1}{1-p}{r}_i\ge p\end{array} \end{gathered}$$

backward

假设模型forward之后的loss是$l$，如何求反向传播时$l$对$x$的梯度？
$$\begin{gathered} x=[x_1,x_2,...,x_K] \\ {x}^{\prime }=dropout(x)=x@mask \\ l=forward(x^{\prime }) \end{gathered}$$
那么$$\frac{dl}{dx}=\frac{dl}{d{x}^{\prime }}\frac{d{x}^{\prime }}{dx}$$
其中
$$\frac{d{x}^{\prime }}{dx}=\{\begin{array}{r}0r_i<p\\ \frac{1}{1-p}{r}_i\ge p\end{array}$$