神经网络的优化（5）----Dropout

一、Dropout怎么做                                                                                                                点击此处返回总目录 二、为什么Dropout有效       讲一下Dropout，我们先讲一下dropout是怎么做的，然后再讲为什么要这么做。                              一、Dropout怎么做 Dropout是怎么做的呢？ 在training的时候，每一次要update之前，我们都对某一个神经元（包括input的地方，input Layer的每一个element也算是一个神经元）做采样。这个采样决定，这个神经元要不要被丢掉。每个神经元有p%的概率被丢掉。                       如果一个神经元被sample到被丢掉，跟它相连的weight也失去作用。所以做完这个sample之后，你的网络结构就变瘦了，变得比较细长。然后再train这个比较细长的网络。                              要注意一下，这个sampling是在每一次update参数之前都要做一次。每一次update的时候，拿来training的网络结构都是不一样的。每一次都要重新做一次sampling。 当你在training的时候，使用dropout，你的performance是会变差的。本来不用dropout的时候，本来比如说可以把正确率做到100，但是加上dropout以后，因为你的神经元莫名其妙就是不见，所以在train的时候