dropout层加在哪里_【Keras】减少过拟合的秘诀——Dropout正则化

摘要： Dropout正则化是最简单的神经网络正则化方法。阅读完本文，你就学会了在Keras框架中，如何将深度学习神经网络Dropout正则化添加到深度学习神经网络模型里。

Dropout正则化是最简单的神经网络正则化方法。其原理非常简单粗暴：任意丢弃神经网络层中的输入，该层可以是数据样本中的输入变量或来自先前层的激活。它能够模拟具有大量不同网络结构的神经网络，并且反过来使网络中的节点更具有鲁棒性。

阅读完本文，你就学会了在Keras框架中，如何将深度学习神经网络Dropout正则化添加到深度学习神经网络模型里，具体内容如下：如何使用Keras API创建Dropout层；如何使用Keras API将Dropout正则化添加到MLP、CNN和RNN层；在现有模型中，如何使用Dropout正则化减少过拟合。

Keras中的Dopout正则化

在Keras深度学习框架中，我们可以使用Dopout正则化，其最简单的Dopout形式是Dropout核心层。

在创建Dopout正则化时，可以将 dropout rate的设为某一固定值，当dropout rate=0.8时，实际上，保留概率为0.2。下面的例子中，dropout rate=0.5。

layer = Dropout(0.5)

Dropout层

将Dropout层添加到模型的现有层和之前的输出层之间，神经网络将这些输出反馈到后续层中。用dense()方法指定两个全连接网络层：

...

model.append(Dense(32))

model.append(Dense(32))

...

在这两层中间插入一个dropout层，这样一来，第一层的输出将对第二层实现Dropout正则化，后续层与此类似。现在，我们对第二层实现了Dropout正则化。

...

model.append(Dense(32))

model.append(Dropout(0.5))

model.append(Dense(32))

...

Dropout也可用于可见层，如神经网络的输入。在这种情况下，就要把Dropout层作为网络的第一层，并将input_shape参数添加到层中，来制定预期输入。

...

model.add(Dropout(0.5, input_shape=(2,)))

...

下面，我们来看看Dropout正则化如何与常见的网络类型一起使用。

MLP Dropout正则化

在两个全连接层之间添加Dropout正则化，代码如下所示：

# example of dropout between fully connected layers

from keras.layers import Dense

from keras.layers import Dropout

...

model.add(Dense(32))

model.add(Dropout(0.5))

model.add(Dense(1))

...

CNN Dropout正则化

我们可以在卷积层和池化层后使用Dropout正则化。一般来说，Dropout仅在池化层后使用。

# example of dropout for a CNN

from keras.layers import Dense

from keras.layers import Conv2D

from keras.layers import MaxPooling2D

from keras.layers import Dropout

...

model.add(Conv2D(32, (3,3)))

model.add(Conv2D(32, (3,3)))

model.add(MaxPooling2D())

model.add(Dropout(0.5))

model.add(Dense(1))

...

在这种情况下，我们要将Dropout应用于特征图的每个单元中。

在卷积神经网络中使用Dropout正则化的另一个方法是，将卷积层中的整个特征图都丢弃，然后在池化期间也不再使用。这种方法称为空间丢弃，即Spatial Dropout。

“我们创建了一个新的Dropout正则化方法，我们将其称为Spatial Dropout。在这个方法