keras添加正则化全连接_第16章 Keras使用Dropout正则化防止过拟合

Dropout虽然简单，但可以有效防止过拟合。本章关于如何在Keras中使用Dropout。本章包括：

dropout的原理

dropout的使用

在隐层上使用dropout

我们开始吧。

16.1 Dropout正则化

Dropout的意思是：每次训练时随机忽略一部分神经元，这些神经元dropped-out了。换句话讲，这些神经元在正向传播时对下游的启动影响被忽略，反向传播时也不会更新权重。

神经网络的所谓“学习”是指，让各个神经元的权重符合需要的特性。不同的神经元组合后可以分辨数据的某个特征。每个神经元的邻居会依赖邻居的行为组成的特征，如果过度依赖，就会造成过拟合。如果每次随机拿走一部分神经元，那么剩下的神经元就需要补上消失神经元的功能，整个网络变成很多独立网络(对同一问题的不同解决方法)的合集。

Dropout的效果是，网络对某个神经元的权重变化更不敏感，增加泛化能力，减少过拟合。

16.2 在Keras中使用Dropout正则化

Dropout就是每次训练按概率拿走一部分神经元，只在训练时使用。后面我们会研究其他的用法。

以下的例子是声呐数据集(第11章)，用scikit-learn进行10折交叉检验，这样可以看出区别。输入变量有60个，输出1个，数据经过正则化。基线模型有2个隐层，第一个有60个神经元，第二个有30个。训练方法是随机梯度下降，学习率和动量较低。下面是基线模型的代码：

import numpy

import pandas

from keras.models import Sequential

from keras.layers import Dense

from keras.layers import Dropout

from keras.wrappers.scikit_learn import KerasClassifier

from keras.constraints import maxnorm

from keras.optimizers import SGD

from sklearn.cross_validation import cross_val_score

from sklearn.preprocessing import LabelEncoder

from sklear