Drop_path及其在Vit中的应用和Pytorch代码实现

taoqick

于 2023-04-23 14:31:24 发布

阅读量209

点赞数

文章标签： pytorch 深度学习 python

本文链接：https://blog.csdn.net/taoqick/article/details/130321123

版权

文章介绍了DropPath函数的实现，它在训练神经网络时用于dropout操作。当dropout概率为p时，神经元的输出期望值调整为(1-p)a。DropPath类在PyTorch中用于在训练时应用dropout，确保模型的期望输出与无dropout时一致。

摘要由CSDN通过智能技术生成

def drop_path(x, drop_prob: float = 0., training: bool = False):
    if drop_prob == 0. or not training:
        return x
    keep_prob = 1 - drop_prob
    shape = (x.shape[0],) + (1,) * (x.ndim - 1)
    random_tensor = keep_prob + torch.rand(shape, dtype=x.dtype, device=x.device)
    random_tensor.floor_() 
    output = x.div(keep_prob) * random_tensor
    return output

引用：

假设一个神经元的输出激活值为a，在不使用dropout的情况下，其输出期望值为a。
如果使用了dropout，神经元就可能有保留和关闭两种状态。
把它看作一个离散型随机变量，它就符合概率论中的0-1分布，其输出激活值的期望变为(1-p)*a+p*0= (1-p)a。
此时若要保持期望和不使用dropout时一致，就要除以 (1-p)。

而在pytorch中，VIT的实现时

调用此即可：

class DropPath(nn.Module):
    def __init__(self, drop_prob=None):
        super(DropPath, self).__init__()
        self.drop_prob = drop_prob

    def forward(self, x):
        return drop_path(x, self.drop_prob, self.training)