[deep_thought Pytorch教程] 学习笔记15 Dropout原理以及其TF/Torch/Numpy源码实现

Dropout在pytorch中的表现形式

Dropout在pytorch中有两种实现形式，一是nn.dropout，为类的形式；二是，nn.functional.dropout.为函数的形式。
对于nn.dropout需要将类进行实例化

m = nn.Dropout(p=0.2)
input = torch.randn(20, 16)
output = m(input)

其中p为随机置零的概率
对于nn.functional.dropout

torch.nn.functional.dropout(input, p=0.5, training=True, inplace=False)

可见其有不同于nn.dropout的参数training

Dropout论文解读

Dropout是由hinton团队在2014年所提出的，该篇论文为《Dropout: a simple way to prevent neural networks from overfitting》

dropout的大致原理为随机让网络中的节点失联。

在训练过程的dropout中，一个unit的权重存在的概率为0，所以在测试时，为了寻求与训练时一直的效果，测试时的权重要乘上dropout的概率p，其意义为权重的期望值。为了减少测试阶段的计算量，在实际pytorch的训练中常将权重除以（1-p)，以达成期望值相同的效果。
#源码解析
接下来是nn.dropout的源码

class _DropoutNd(Module):
    __constants__ = ['p', 'inplace']
    p: float
    inplace: bool

    def __init__(self, p: float = 0.5, inplace: bool = False) -> None:
        super(_DropoutNd, self).__init__()
        if p < 0 or p > 1:
            raise ValueError("dropout probability has to be between 0 and 1, "
                             "but got {}".format(p))
        self.p = p
        self.inplace = inplace

    def extra_repr(self) -> str:
        return 'p={}, inplace={}'.format(self.p, self.inplace)

首先，dropout继承自_DropoutNd，而_DropoutNd又继承自nn.Module,_DropoutNd，该类实现了dropout类初始化等一系列基本功能，不再赘述。

class Dropout(_DropoutNd):
   """
   一些注释
   """
    def forward(self, input: Tensor) -> Tensor:
        return F.dropout(input, self.p, self.training, self.inplace)

可以看到Dropout类就是在调用nn.functional.dropout,其中参数self.training继承自module
接下来是nn.functional.dropout的caffe源码（c语言）

首先可以看到该函数计算了scale，是对输入变量进行缩放；然后生成满足期望值为p的伯努利分布函数dist，在对节点中每一个权重进行遍历时，判断dist（gen)是否大于0.5来生成mask。最后将最后结果依次相乘。

import numpy as np

def train(rate,x,w1,b1,w2,b2):
	layer1 = np.maximum(0,np.dot(w1,x) +b1)
	mask1 = np.random.binomial(1,1-rate,layer1.shape)
	layer1 = layer1*mask1
	layer2 = np.maximum(0,np.dot(w2,layer1) +b2)
	mask2 = np.random.binomial(1,1-rate,layer2.shape)
	layer2 = layer2*mask2
    return layer2

def test(rate,x,w1,b1,w2,b2):
	layer1 = np.maximum(0,np.dot(w1,x) +b1)
	layer1 = layer1*(1-rate)
	layer2 = np.maximum(0,np.dot(w2,layer1) +b2)
	layer2 = layer2*(1-rate)
    return layer2

def another_train(rate,x,w1,b1,w2,b2):
	layer1 = np.maximum(0,np.dot(w1,x) +b1)
	mask1 = np.random.binomial(1,1-rate,layer1.shape)
	layer1 = layer1*mask1
	layer1 = layer1/(1-rate)
	
	layer2 = np.maximum(0,np.dot(w2,layer1) +b2)
	mask2 = np.random.binomial(1,1-rate,layer2.shape)
	layer2 = layer2*mask2
	layer2 = layer2/(1-rate)
    return layer2
    
def another_test(x,w1,b1,w2,b2):
	layer1 = np.maximum(0,np.dot(w1,x) +b1)
	
	layer2 = np.maximum(0,np.dot(w2,layer1) +b2)

    return layer2

最后时用numpy实现的两种不同方式的dropput