正则化之dropout(随机失活)详细介绍

一、什么是dropout

dropout(随机失活):dropout是通过遍历神经网络每一层的节点，然后通过对该层的神经网络设置一个keep_prob(节点保留概率)，即该层的节点有keep_prob的概率被保留，keep_prob的取值范围在0到1之间。通过设置神经网络该层节点的保留概率，使得神经网络不会去偏向于某一个节点(因为该节点有可能被删除)，从而使得每一个节点的权重不会过大，有点类似于L2正则化，来减轻神经网络的过拟合。

二、dropout的工作原理

下图是一个三层的神经网络，接下来主要通过这个神经网络来介绍dropout的工作原理

dropout的工作原理主要可以分为3步：

1、遍历神经网络的每一层节点，设置节点保留概率keep_prob，假设keep_prob=0.5

2、删除神经网络的节点，并删除网络与移除节点之间的连接

3、输入样本，使用简化后的网络进行训练，每次输入样本的时候都要重复这三步。

三、Inverted dropout(反向随机失活)的实现

下面我们对之前的四层的神经网络的第三层来使用inverted dropout，来对神经网络的第三层使用dropout，实现inverted dropout主要分为四步：

1、第三层网络的网络节点用a3表示，使用a3的shape来产生一个0到1的随机矩阵。

2、设置keep_prob(0到1)的大小，keep_prob表示该层节点保留的概率。对于第一步产生的随机矩阵与keep_prob进行比较，小于为1，大于为0。1表示保留该节点，0表示删除节点。

3、将a3与0和1的矩阵相乘(这里是普通的乘法，不是矩阵相乘)，得到新的网络节点a3。

4、对输出的a3矩阵除以keep_prob，即a3 /= keep_prob，这一步是最关键的。将a3除以keep_prob的目的是保证a3的期望值(均值)不变，从而保证第三层的输出不变。

注意：dropout在测试阶段不需要使用，因为如果在测试阶段使用dropout可能会导致预测值产生随机变化(因为dropout使节点随机失活)。而且，在训练阶段已经将权重参数除以keep_prob来保证输出的期望值不变，所以在测试阶段没必要再使用dropout。

四、dropout能达到正则化的效果

1、使用dropout可以使得部分节点失活，可以起到简化神经网络结构的作用，从而起到正则化的作用。

2、因为dropout是使得神经网络的节点随机失活，这样会让神经网络在训练的时候不会使得某一个节点权重过大。因为该节点输入的特征可能会被清除，所以神经网络的节点不能依赖任何输入的特征。dropout最终会产生收缩权重的平方范数的效果，来压缩权重，达到类似于L2正则化的效果。

注意：神经网络的不同层在使用dropout的时候，keep_prob可以不同。因为可能有的层参数比较多，比较复杂，keep_prob可以小一些，而对于结构比较简单的层,keep_prob的值可以大一些甚至为1，keep_prob等于1表示不使用dropout，即该层的所有节点都保留。

注：原文地址：https://blog.csdn.net/sinat_29957455/article/details/81023154