6.4 预训练网络(迁移学习)基础概念

一、预训练网络

        预训练网络是一个保存好的之前已在大型数据集（大规模图像分类任务）上训练好的卷积神经网络。

如果这个原始数据集足够大且足够通用，那么预训练网络学到的特征的空间层次结构可以作为有效的提取视觉世界特征的模型。

        即使新问题和新任务与原始任务完全不同
        学习到的特征在不同问题之间是可移植的，这也是深度学习与浅层学习方法的一个重要优势。它使得深度学习对于小数据问题非常的有效。

二、 Keras内置预训练网络

Keras库中包含
VGG16、 VGG19、ResNet50、Inception v3、Xception等经典的模型架构。

三、ImageNet

        ImageNet是一个手动标注好类别的图片数据库(为了机器视觉研究)，目前已有22,000个类别。
        当我们在深度学习和卷积神经网络的背景下听到“ImageNet” 一词时，我们可能会提到ImageNet视觉识别比赛，称为ILSVRC.

这个图片分类比赛是训练一个模型，能够将输入图片正确分类到1000个类别中的某个类别。训练集120万，验证集5万，测试集10万。

        这1,000个图片类别是我们在日常生活中遇到的，例如狗，猫，各种家居物品，车辆类型等等。

        在图像分类方面， ImageNet比赛准确率已经作为计算机视觉分类算法的基准。自2012年以来，卷积神经网络和深度学习技术主导了这一比赛的排行榜。

四、VGG16与VGG19

        在2014年， VGG模型架构由Simonyan和Zisserman提出，在“极深的大规模图像识别卷积网络”（Very DeepConvolutional Networks for Large Scale ImageRecognition）这篇论文中有介绍。

        VGG模型结构简单有效，前几层仅使用3×3卷积核来增加网络深度，通过max pooling（最大池化）依次减少每层的神经元数量，最后三层分别是2个有4096个神经元的全连接层和一softmax层。

        

 五、VGG的两个缺点

1. 网络架构weight数量相当大，很消耗磁盘空间。
2. 训练非常慢
        由于其全连接节点的数量较多，再加上网络比较深， VGG16有533MB+， VGG19有574MB。这使得部署VGG比较耗时。