利用Keras预训练的VGG16网络提取特征，学习 ‘’Dogs VS Cats‘’ 例子

内容转载摘录自

http://blog.sina.com.cn/s/blog_4929fe410102y72f.html

https://www.cnblogs.com/qwangxiao/p/9212548.html

了解更多卷积神经网络知识 click here。仅为学习。

 

      使用预训练网络的bottleneck特征一个稍微讲究一点的办法是，利用在大规模数据集上预训练好的网络。这样的网络在多数的计算机视觉问题上都能取得不错的特征，利用这样的特征可以让我们获得更高的准确率。

      VGG16，它是由来自牛津大学的研究团队训练的一个针对ImageNet进行图像识别与分类的深度CNN网络。在ImageNet中，图像的中物体的类别多达1000种。

      此次运用VGG-16网络，该网络在ImageNet数据集上进行训练，因为ImageNet数据集包含多种“猫”类和多种“狗”类，这个模型已经能够学习与我们这个数据集相关的特征了。或者说我们现在的问题（区别猫和狗）的规模可以认为是VGG本来要解决之问题的一个子集。回忆之前介绍过的VGG网络结构，在最后一次池化操作之后，模型紧接着就是若干fully-connected层，并最终经由一个softmax predictions来输出结果。事实上，简单的记录原来网络的输出而不用bottleneck特征就已经足够把我们的问题解决的不错了。不过我们这里讲的方法对其他的类似问题有更好的推广性，包括在ImageNet中没有出现的类别的分类问题。

      方法是这样的，我们将利用网络的卷积层部分，把全连接以上的部分抛掉。然后在我们的训练集和测试集上跑一遍，将得到的输出（即“bottleneck feature”，网络在全连接之前的最后一层激活的feature map）记录在两个numpy array里。然后我们基于记录下来的特征训练一个全连接网络。

      仅实例化模型的卷积部分，直至完全连接的层。 然后，我们将在训练和验证数据上运行该模型一次，将输出（VGG16模型的“瓶颈特征”：在完全连接的层之前的最后一个激活图）记录在两个numpy数组中。 然后，我们将在存储的特征之上训练一个小型的全连接模型。相当于我们用前面的若干卷积层来作为图像特征的提取和编码器，经过一次计算，训练数据和验证数据都被“编码”了，而这些编码中就蕴含着它们的特征。然后我们将这些新的编码输入到最后的全连接层，用来训练最后的softmax分类器

      我们将这些特征保存为离线形式，而不是将我们的全连接模型直接加到网络上并冻结之前的层参数进行训练的原因是处于计算效率的考虑。运行VGG网络的代价是非常高昂的，尤其是在CPU上运行，所以我们只想运行一次。这也是我们不进行数据提升的原因。

      修改VGG16得到一个二分类器，来学习一下‘’Dogs VS Cats‘’ 例子。

import numpy as np
from PIL import Image
from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.layers import Dropout, Flatten, Dense
from keras import applications

# dimensions of our images.
img_width, img_height = 150, 150

top_model_weights_path = 'bottleneck_fc_model.h5'
train_data_dir = 'data/train'
validation_data_dir = 'data/validation'
nb_train_samples = 2000
nb_validation_samples = 800
epochs = 50
batch_size = 16

vgg16_model = applications.vgg16.VGG16()

def save_bottlebeck_features():
    datagen = ImageDataGenerator(rescale=1. / 255)

    # build the VGG16 network
    model = applications.VGG16(include_top=False, weights='imagenet')

    generator = datagen.flow_from_directory(
        train_data_dir,
        target_size=(img_width, img_height),
        batch_size=batch_size,
        class_mode=None,
        shuffle=False)

    bottleneck_features_train = model.predict_generator(
        generator, nb_train_samples // batch_size)

    np.save('bottleneck_features_train.npy', bottleneck_features_train)

    generator = datagen.flow_from_directory(
        validation_data_dir,
        target_size=(img_width, img_height),
        batch_size=batch_size,
        class_mode=None,
        shuffle=False)

    bottleneck_features_validation = model.predict_generator(
        generator, nb_validation_samples // batch_size)

    np.save('bottleneck_features_validation.npy', bottleneck_features_validation)


def train_top_model():
    train_data = np.load('bottleneck_features_train.npy')
    train_labels = np.array(
        [0] * (nb_train_samples // 2) + [1] * (nb_train_samples // 2))

    validation_data = np.load('bottleneck_features_validation.npy')
    validation_labels = np.array(
        [0] * (nb_validation_samples // 2) + [1] * (nb_validation_samples // 2))

    model = Sequential()
    model.add(Flatten(input_shape=train_data.shape[1:]))
    model.add(Dense(256, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(1, activation='sigmoid'))

    model.compile(optimizer='rmsprop',
                  loss='binary_crossentropy', metrics=['accuracy'])

    model.fit(train_data, train_labels,
              epochs=epochs,
              batch_size=batch_size,
              validation_data=(validation_data, validation_labels))
    model.save_weights(top_model_weights_path)
    
save_bottlebeck_features()
train_top_model()  

运行这个模型，准确率在89%左右。