CNN缓解过拟合的方法（tensorflow 2.x版）

缓解过拟合的方法

1、正则化

（1)L1正则化大概率会使很多参数变为零，因此该方法可通过稀疏参数，即减少参数的数量，降低复杂度。

（2)L2正则化会使参数很接近零但不为零，因此该方法可通过减小参数值的大小降低复杂度。

model = keras.models.Sequential()
model.add(keras.layers.Dense(256,kernel_regularizer=keras.regularizers.l2(0.001),activation='relu'))
model.add(keras.layers.Dense(64,kernel_regularizer=keras.regularizers.l2(0.001),activation='relu'))
model.add(keras.layers.Dense(5,activation='softmax'))

2、动量

optimizer=SGD(learning_rate=0.02,momentum=0.9)
optimizer=RMSprop(learning_rate=0.02,momentum=0.9)

optimizer=Adam(learning_rate=0.02,
              beta_1=0.9,
              beta_2=0.999)

3、学习率

学习率越大，参数更新的就越快，但同时受到异常数据的影响也就越大，很容易发散。

optimizer=SGD(learning_rate=0.2)

for epoch in range(100):
    optimizer.learning_rate=0.2*(100-epoch)/100

4、Dropout

随机删掉网络中部分神经元，缓解过拟合的发生。

model = keras.models.Sequential()

model.add(keras.layers.Dense(256,activation='relu'))
model.add(keras.layers.Dense(64,activation='relu'))
model.add(layers.Dropout(0.2))
model.add(keras.layers.Dense(5,activation='softmax'))

5、BatchNormalization

通常加在卷积层与激活层之间

6、池化

1）最大池化可以提取图片纹理

2）均值池化可以保留背景特征