Dropout:A Simple Way to Prevent Neural Networks from Overfitting

原文：Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1):1929-1958.
这是一篇深度学习领域引用量目前达到1779的文章，在学习深度学习必读文章之列，下面理解下作者们的主要思想

深度神经网络包含multiple非线性隐藏层，这使得深度神经网络是一个具有非常强的表达能力的模型，他们可以到学习网络输入到输出之间非常复杂的关系。但是由于有限的训练数据，这些复杂的关系中有有许多是受到采样噪声影响的结果，这部分关系只出现在训练集，但在实际的测试集中并不存在，即使训练集和测试集是从同一个分布产生。这会导致过拟合，许多方法被发展用于减少这种问题。这些方法包括如当网络在验证集的表现出现下降时终止训练，引入多种权值惩罚如L1和L2正则化，软权重共享。

有无限运算的前提下，调整一个固定大小模型的最好方法，是对所有可能的参数设置所得到的预测结果取加权平均，依据训练集的后验概率对各种参数设置给定权重。这对于简单或者小的模型有时候可以取得相当好的逼近效果，但是，我们想使用少量的计算得到贝叶斯黄金标准的模型表现。我们打算通过逼近一个同样的多个预测进行的加权几何平均，这些预测由指数数量的共享参数的学习模型所得到。

模型结合一般可以提升机器学习方法的表现。但是对于巨大的神经网络而言，对许多分离的训练好的网络的输出取平均的想法是过分的昂贵。当单个模型之间各不相同时，结合几个模型是几乎有效的方法，这些模型的不同体现在不同的结构或者使用不同的训练样本进行训练。训练许多不同结构的模型是非常困难的，