神经网络中Dropout的使用

x = Dropout(0.01)(x)

在进行第一个batch的训练时，有以下步骤：

1.设定每一个神经网络层进行dropout的概率

2.根据相应的概率拿掉一部分的神经元，然后开始训练，更新没有被拿掉神经元以及权重的参数，将其保留

3.参数全部更新之后，又重新根据相应的概率拿掉一部分神经元，然后开始训练，如果新用于训练的神经元已经在第一次当中训练过，那么我们继续更新它的参数。而第二次被剪掉的神经元，同时第一次已经更新过参数的，我们保留它的权重，不做修改，直到第n次batch进行dropout时没有将其删除。

这就是dropout层的思想了，dropout用于防止过拟合。因为越大的神经网络就越有可能产生过拟合，因此我们随机删除一些神经元就可以防止其过拟合了，也就是让我们拟合的结果没那么准确。就如同机器学习里面的L1/L2正则化一样的效果！

那么我们应该对什么样的神经网络层进行dropout的操作呢？很显然是神经元个数较多的层，因为神经元较多的层更容易让整个神经网络进行预测的结果产生过拟合，

未使用dropout 对train_set拟合度过高 对测试集预测出现平移现象

 使用dropout