13 丢弃法 [动手学深度学习v2]

1. 无偏差的加入噪音

   对$\mathbf{x}$加入噪音得到${\mathbf{x}}^{\prime }$，我们希望
   $$\mathbf{E}\left[{\mathbf{x}}^{\prime }\right]=\mathbf{x}$$
   丢弃法对每个元素进行如下扰动
   $$x_i^{\prime }=\{\begin{array}{ll}0& \text{ with probablity }p\\ \frac{x_i}{1-p}& \text{ otherise }\end{array}$$

2. 通常将丢弃法作用在隐藏全连接层的输出上。

3. 实现dropout_layer函数

   import torch
   from torch import nn
   
   def dropout_layer(X, dropout):
       assert 0 <= dropout <= 1
       if dropout == 1:
           return torch.zeros_like(X)
       if dropout == 0:
           return X
       mask = (torch.randn(X.shape) > dropout).float()
       return mask * X / (1.0 - dropout)