1 理论部分
首先说明一点,dropout是用来解决overfitting的,如果在训练集上实验效果就不理想,那么加了dropout也救不了。
第二点是,Dropout常作用在多层感知机的隐藏层输出上,(CNN之类用得不多)
1.1 training时的dropout
使用了Dropout之后,训练的时候,每个神经元都有p的概率不向后传递自己的信息。
把上图画×的申请元擦掉(因为这些神经元不传递自己的信息,在本轮training中是没有作用的【也就是这些神经元这一轮不会更新】),可以得到一个更“细”的神经网路
但这并不代表其他的神经元没有作用了。对每个mini-batch,我们重新计算那些神经元参与传递哪些没有。所以最后所有的参数都会被更新的。
1.2 testing时的dropout
测试模型的时候,神经元就都是相连的了,只不过权重值得乘以(1-p%)
从另一个视角看dropput,它相当于把一堆共享参数的model整合起来
2 pytorch实现Dropout
Dropout训练的时候,需要声明model.train()(不声明也行,因为默认是train状态)
Dropout测试的时候,则是需要声明model.eval()(如果不希望开启dropout进行训练,所有的神经元都参与前向传播和反向传播的话,在训练阶段开启前声明model.eval()即可)
#导入库
import torch
#神经网络结构声明
net=torch.nn.Sequential(
torch.nn.Linear(1,16),
torch.nn.Dropout(p=0.5),
torch.nn.ReLU(),
torch.nn.Linear(16,2)
)
net.train()
net.eval()
net
'''
Sequential(
(0): Linear(in_features=1, out_features=16, bias=True)
(1): Dropout(p=0.5, inplace=False)
(2): ReLU()
(3): Linear(in_features=16, out_features=2, bias=True)
)
'''