【深度学习】使用预训练模型

主要有两种方法：

• 特征提取
• 微调模型

特征提取

特征提取就是使用已经训练好的网络在新的样本上提取特征，然后将这些特征输入到新的分类器，从头开始训练的过程。

卷积神经网络分为两个部分：

• 一系列池化层+卷积层，也叫卷积基
• 全连接层

特征提取就是去除之前训练好的网络的分类器，在卷积基之上运行新数据，训练新的分类器。

我们只是复用卷积基，而不用训练好的分类器的数据，这样做的原因是卷积基学到的表示更加通用，而分类器学到的表示则必然是针对模型已经训练的类别，只包含某个类别出现在整张图像中的概率信息。

另外，全连接层不包含物体在输入图像中的位置信息，因为接入全连接层的数据已经被展平，全连接层抛弃了空间的概念。

而使用卷积基，到底用多少层呢？这要看数据的特征。越往前，模型提取的特征越低级，也即是局部的，更通用的特征图，而越往后，则抽取的特征就越抽象。所以当新的数据集与原始模型训练的数据集差异较大时，可以只用模型的前几层来提取特征。

from keras.applications import VGG16
conv_base = VGG16(weights='imagenet',
                 include_top=False,
                 input_shape=(150, 150, 3))
conv_base.summary()
'''
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         (None, 150, 150, 3)       0         
_________________________________________________________________
block1_conv1 (Conv2D)        (None, 150, 150, 64)      1792      
_________________________________________________________________
block1_conv2 (Conv2D)        (None, 150, 150, 64)      36928     
_________________________________________________________________
block1_pool (MaxPooling2D)   (None, 75, 75, 64)        0         
_________________________________________________________________
block2_conv1 (Conv2D)        (None, 75, 75, 128)       73856     
_________________________________________________________________
block2_conv2 (Conv2D)        (None, 75, 75, 128)       147584    
_________________________________________________________________
block2_pool (MaxPooling2D)   (None, 37, 37, 128)       0         
_________________________________________________________________
block3_conv1 (Conv2D)        (None, 37, 37, 256)       295168    
_________________________________________________________________
block3_conv2 (Conv2D)        (None, 37, 37, 256)       590080    
_________________________________________________________________
block3_conv3 (Conv2D)        (None, 37, 37, 256)       590080    
_________________________________________________________________
block3_pool (MaxPooling2D)   (None, 18, 18, 256)       0         
_________________________________________________________________
block4_conv1 (Conv2D)        (None, 18, 18, 512)       1180160   
_________________________________________________________________
block4_conv2 (Conv2D)        (None, 18, 18, 512)       2359808   
_________________________________________________________________
block4_conv3 (Conv2D)        (None, 18, 18, 512)       2359808   
_________________________________________________________________
block4_pool (MaxPooling2D)   (None, 9, 9, 512)         0         
_________________________________________________________________
block5_conv1 (Conv2D)        (None, 9, 9, 512)         2359808   
_________________________________________________________________
block5_conv2 (Conv2D)        (None, 9, 9, 512)         2359808   
_________________________________________________________________
block5_conv3 (Conv2D)        (None, 9, 9, 512)         2359808   
_________________________________________________________________
block5_pool (MaxPooling2D)   (None, 4, 4, 512)         0         
=================================================================
Total params: 14,714,688
Trainable params: 14,714,688
Non-trainable params: 0
'''

可以看出，最后的输出特征图的形状是(4,4,512)，现在我们在这个基础上添加全连接层。现在有两种方式可选：

• 在自己的数据集上运行卷积基，将输出保存在硬盘上，然后用这个数据作为输入，输入到独立的全连接层分类器。这种方法速度快，代价低，但是不允许使用数据增强。
• 在卷积基的顶部添加Dense层来扩展已有模型，输入数据端到端运行整个模型，可以使用数据增强，但是计算代价更高。

# 使用预训练模型的卷积基提取特征
import os
import numpy as np
from keras.preprocessing.image import ImageDataGenerator

base_dir = './data/cats_and_dogs_small'
train_dir = os.path.join(base_dir, 'train')
validation_dir = os.path.join(base_dir, 'validation')
test_dir = os.path.join(base_dir, 'test')

datagen = ImageDataGenerator(rescale=1./255)
batch_size = 3

def extract_features(directory, sample_count)