一起来学PyTorch——神经网络（Dropout层）

在深度学习中，如果参数比较多而样本比较少时，模型容易产生过拟合。表现为，在训练集上，预测准确率很高，但是在测试集中，准确率大幅度下降。使用Dropout算法，可以有效的缓解过拟合现象。

Dropout的基本思想如下图所示。在训练的过程中，每个神经元被保留下来的概率是p，即有 1-p 的概率不工作。因此每次前向传播保留的神经元都不尽相同。这样做可以使模型不太依赖于某些局部特征【局部特征指的是，在特定的一组数据中，某些特征对结果的影响很大。但是在全部数据中，这些特征并不能起到这样的作用】。

右边为部分神经元不工作

对于Dropout防止过拟合，做以下3方面的解释：

1. 多模型的平均：

不同的固定神经网络会有不同的过拟合，多个取平均则可能让一些相反的过拟合相互抵消，而Dropout每次都是不同的神经元失活，可以看作是多个模型的平均，类似于多数投票取胜的策略。

2. 减少神经元之间的依赖：

由于两个神经元不一定同时有效，因此减少了特征之间的依赖，迫使网络学习有更好的鲁棒性。因为神经网络不应该对特定的特征过于敏感，应该从众多特征中学习到更为通用的规律。

3. 生物进化：

Dropout类似于性别在生物进化中的角色，物种为了适应环境变化，在繁衍时取雄性和雌性的各一半基因进行组合，这样可以适应更复杂的新环境，避免了单一基因的过拟合，当环境发生变化时也不至于灭绝。每次使用不同的神经元，就像造就了不同的性别一样。

python实现Dropout如下：

import torch
from torch import nn

# Pytorch将元素变为0来实现Dropout层，第一个参数为变0的概率，第二个为是否直接修改原数据
dropout = nn.Dropout(0.5, inplace=False)
input = torch.randn(2, 64, 7, 7)
output = dropout(input)

欢迎大家共同交流学习，欢迎关注，以后会更新更多的python深度学习知识。