dropout的比例_理解dropout

dropout

dropout指的是在神经网络层中，随即删掉一定比例的神经元，让它们不发挥传递作用，使网络模型变得稀疏的一种模型方法。

网络中的神经元以概率\(p\)，变为\(0\)，以\(q\)的概率保留，其中\(q = 1-p\)。

为什么使用dropout

众所周知，深度学习一直有那么几个很让人头疼的问题，其中就有模型过拟合和训练时间长。而dropout就是对抗这两个问题的方法。

尤其是对于过拟合，所有的复杂模型在经过长时间训练后，基本都有可能出现过拟合，这时候模型就很难泛化，对于复杂的没见过的数据很难判断。而过拟合很大程度上因为模型的神经元之间通过不恰当的复杂连接依赖性太高，降低了本身的泛化能力。

一个解决方法是多训练几个模型，做平均求结果。但是这种方法依然要训练大量的参数，时间上还是降不下来。

ensemble

dropout选择随机保留一部分神经元，保留下来的神经元在这次train中去协同适应，而由于每次都是随机的，所以这些神经元之间的固定关系就减少了，相比于之前的模型出现过拟合的情况就会好很多。

现在可以理解成我们能够产生\(2^n\)种模型，其中\(n\)是神经元数量。这些模型能够起到结果平均的效果，而我们总共要训练的参数却没有成倍增长，相当于不同模型权值是共享的，减少了模型的协同作用，不同的ensemble方式让模型更加多样化。

motivation

有一个很形象的比喻，这个观点可以直观地帮助理解为什么dropout可以发挥较好的效果。

dropout的动机与性别在自然界的出现相关。自然界的繁殖有有性繁殖和无性繁殖&