【深度之眼】Pytorch框架班第五期-Week6【任务1】第二节：dropout

正则化之Dropout

Dropout: 随机失活
随机： dropout probability
失活：weight=0

数据尺度变化：测试时，所有权重乘以1-drop_prob, drop_prob = 0.3, 1- drop_prob=0.7

nn.Dropout

torch.nn.Dropout(p=0.5, inplace=False)

功能：Dropout层
参数

• p = 被舍弃的概率

实现细节：
训练时权重均乘以1 / 1-p , 即除以1-p

PyTorch中，Dropout在训练的时候权值尺度会进行什么操作？
训练时权重均乘以1 / 1-p , 即除以1-p,这样在测试阶段就不需要对权值进行缩放，即测试时，所有权重不需要乘以1-drop_pob