版本 | 描述 | epochs | 训练精度 | 验证精度 |
---|---|---|---|---|
V1.0 | 简单线性卷积神经网络 | 100 | 99% | 75% |
V2.0 | 添加了数据增强和dropout层 | 100 | 83% | 83% |
V3.0 | 使用预训练-特征提取-分步式 | 100 | 99% | 90% |
V4.0 | 使用预训练-特征提取-合并式 | 100 | 90% | 90% |
V5.0 | 使用预训练-微调模型 | 100 | 99% | 94% |
五种卷积神经网络解决猫狗分类问题(零):总概要
五种卷积神经网络解决猫狗分类问题(一):V1 简单线性网络
五种卷积神经网络解决猫狗分类问题(二):V2 简单线性网络上添加数据增强和dropout层
五种卷积神经网络解决猫狗分类问题(三):V3 预训练-特征提取-分步式
五种卷积神经网络解决猫狗分类问题(四):V4 预训练-特征提取-合并式
五种卷积神经网络解决猫狗分类问题(五):V5 预训练-微调模型
1. 微调模型
相对于特征提取冻结所有卷积基,微调模型则是冻结部分卷积基,剩余卷积基层和自定义分类器联合训练
一般分为卷积基和分类器:如上图,卷积基又分为5个块。
所谓的微调模型就是冻结部分卷积基(卷积块1~4),训练部分卷积基(卷积块5)和分类器
2. 微调模型步骤
1. 在预训练网络上添加自定义网络(分类器)
2. 冻结基网络
3. 训练添加的自定义网络
4. 解冻部分基网络的一些层(此时学习率低一点,不要有太大的更新,1e-5)
5. 联合训练解冻的这些层和添加的自定义网络
由上面的步骤可以看出,步骤1~3很想预训练网络-特征提取:即冻结全部卷积基,训练分类器,步骤4-5才是微调模型的独特步骤,即解冻部分卷积基,再次训练
步骤1~3类似粗调模型,使得精度达到一定水平,再解冻部分卷积基,再次训练经行细调(学习率很低,更新波动小)
3. 解冻多少层合适?
所以一般来讲解冻最后2~3就可以了
4. 代码
4.1 步骤1~3的代码
即五种卷积神经网络解决猫狗分类问题(四):预训练-特征提取-合并式
#!/usr/bin/env python
# coding: utf-8
# ### 导入预训练网络
# - 设置导入的卷积基不可被训练,从而保护其在训练时不被更新
from keras.applications import VGG16
from keras import layers
from keras import models
conv_base=VGG16(include_top=False,
weights='imagenet',
input_shape=(150,150,3))
conv_base.trainable=False # 冻结参数,使之不被更新
# ### 定义网络模型
# - 使用add()函数堆叠即可
model=models.Sequential()
model.add(conv_base)
model.add(layers.Flatten())
model.add(layers.Dense(256,activation='relu'))
model.add(layers.Dense(1,activation='sigmoid'))
model.summary()
# ### 数据准备(数据生成器)
from keras.preprocessing.image import ImageDataGenerator
train_dir='../dogs-vs-cats_small/train/'
validation_dir='../dogs-vs-cats_small/validation/'
test_dir='../dogs-vs-cats_small/test/'
train_datagen=ImageDataGenerator(rescale=1./255,
rotation_range=40,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True,
fill_mode='nearest')
test_datagen=ImageDataGenerator(rescale=1./255)
train_generator=train_datagen.flow_from_directory(train_dir,
target_size=(150,150),
batch_size=20,
class_mode='binary')
validation_generator=test_datagen.flow_from_directory(validation_dir,
target_size=(150,150),
batch_size=20,
class_mode='binary')
# ### 配置模型
from keras import optimizers
model.compile(loss='binary_crossentropy',
optimizer=optimizers.RMSprop(lr=2e-5),
metrics=['acc'])
# ### 开始训练
history=model.fit_generator(train_generator,
steps_per_epoch=100,
epochs=100,
validation_data=validation_generator,
validation_steps=50)
# 可视化
import matplotlib.pyplot as plt
train_acc=history.history['acc']
train_loss=history.history['loss']
val_acc=history.history['val_acc']
val_loss=history.history['val_loss']
epoch=range(1,len(train_acc)+1)
plt.plot(epoch,train_acc,'bo',label='Train_acc')
plt.plot(epoch,val_acc,'b',label='val_acc')
plt.title("training and validation accuracy")
plt.legend()
plt.figure()
plt.plot(epoch,train_loss,'bo',label='Train_losx')
plt.plot(epoch,val_loss,'b',label='val_loss')
plt.title("training and validation loss")
plt.legend()
plt.show()
4.2 步骤4:解冻部分卷积基
先看VGG16的卷积基:
我们将解冻block5_conv1~最后的总共4层(实际上卷积层只有3层)
通过每层的trainable属性来设定该层是否可训练:
conv_base.trainable=True
set_trainable=False
for layer in conv_base.layers: # 一但name==block5_covn1,set_trainable就永远为True,后面的层都设置为True
if layer.name=="block5_conv1":
set_trainable=True
if set_trainable:
layer.trainable=True
else:
layer.trainable=False
4.3 步骤5:配置模型和开始训练
model.compile(loss='binary_crossentropy',
optimizer=optimizers.RMSprop(lr=1e-5),
metrics=['acc'])
history=model.fit_generator(train_generator,
steps_per_epoch=100,
epochs=100,
validation_data=validation_generator,
validation_steps=50)
可以看出验证集精度达到了94%,是V1~V5中最高的