在深度学习中,如果参数比较多而样本比较少时,模型容易产生过拟合。表现为,在训练集上,预测准确率很高,但是在测试集中,准确率大幅度下降。使用Dropout算法,可以有效的缓解过拟合现象。
Dropout的基本思想如下图所示。在训练的过程中,每个神经元被保留下来的概率是p,即有 1-p 的概率不工作。因此每次前向传播保留的神经元都不尽相同。这样做可以使模型不太依赖于某些局部特征【局部特征指的是,在特定的一组数据中,某些特征对结果的影响很大。但是在全部数据中,这些特征并不能起到这样的作用】。
对于Dropout防止过拟合,做以下3方面的解释:
多模型的平均:
不同的固定神经网络会有不同的过拟合,多个取平均则可能让一些相反的过拟合相互抵消,而Dropout每次都是不同的神经元失活,可以看作是多个模型的平均,类似于多数投票取胜的策略。
减少神经元之间的依赖:
由于两个神经元不一定同时有效,因此减少了特征之间的依赖,迫使网络学习有更好的鲁棒性。因为神经网络不应该对特定的特征过于敏感,应该从众多特征中学习到更为通用的规律。
生物进化:
Dropout类似于性别在生物进化中的角色,物种为了适应环境变化,在繁衍时取雄性和雌性的各一半基因进行组合,这样可以适应更复杂的新环境,避免了单一基因的过拟合,当环境发生变化时也不至于灭绝。每次使用不同的神经元,就像造就了不同的性别一样。
python实现Dropout如下:
import torch
from torch import nn
# Pytorch将元素变为0来实现Dropout层,第一个参数为变0的概率,第二个为是否直接修改原数据
dropout = nn.Dropout(0.5, inplace=False)
input = torch.randn(2, 64, 7, 7)
output = dropout(input)
欢迎大家共同交流学习,欢迎关注,以后会更新更多的python深度学习知识。