pytorch-dropout相关

今天在修改代码时，发现对dropout的inplace操作不太明白，所以有了此文，介绍一下pytorch的dropout函数

Dropout layers

在pytorch的doc中nn.dropout类如下，与functional.dropout函数一致：

CLASS: torch.nn.Dropout(p=0.5, inplace=False)
Input: Any. Input can be of any shape
Output: Same. Output is of the same shape as input

两个参数：

• p为对于input中各个元素zero out的概率，也就是说当p=1时，output为全0。
• inplace参数，示例如下，就是是否对tensor本身操作：

inplace为True时:

inplace为False时：

Dropout2d or 3d

除此之外，pytorch还定义了Dropout2d和Dropout3d两个变种，其实也相对简单，Dropout2d要求输入数据为4维，它针对feature map进行zero out操作，也就是说：比如一个abmn的input，对它的每个mn的feature map，也就是input[i, j]进行zero out。示例如下：