计算机视觉教程核心版(九)迁移学习

迁移学习

实际中很少有人从头开始训练一个神经网络，因为大部分任务都缺少足够的数据量。常用的方法是预训练一个基于非常大的数据集上的神经网络，之后将这个神经网络要么作为任务的初始化，要么作为任务的一个特征提取器。三种主要的迁移学习系列列出如下：

• ConvNet作为特征提取器。取一个在ImageNet上训练过的分类神经网络，移除最后的全连接层，剩下的部分作为自定义数据集的特征提取器。
• 微调ConvNet。第二种方法是通过反向传播继续微调预训练的神经网络的权重。实现微调预训练的神经网络所有层或者部分层的权重是可以实现的，大部分情况下仅仅微调网络较高级别的特征（因为担心过拟合）。这种想法来源于，人们注意到神经网络前几层提取到的特征包含基本特征(例如，角点或者颜色)，这些特征可以对许多任务都有用，但之后的高级层集中到具体的任务特征提取。
• 预训练模型。因为神经网络在如ImageNet这样大的数据集上，训练往往需要在好几块GPU上训练好几个星期。如今更加常见的是，人们开发自己训练的最终神经网络的检查点，以便于其他人使用这个网络进行微调。例如，caffe library

图像表示迁移学习的系列如下

什么时候微调？怎样进行微调？

根据什么来决定使用那种迁移学习方式？这个由多方面因素决定，但是最重要的两个是新数据集的大小，以及它与原来数据集的相似程度。时刻谨记，卷积神经网络在前几层提取的特征更加基层，然而在之后的层提取的特征体现数据集的不同。下列列出常用的四种场景：

1. 新的数据集小而且和原来的数据集相似。比较好的办法是将卷积神经网络作为特征提取器，例如构建一个线性分类器。
2. 新的数据集大而且和原来的数据集相似。因为我们有更多的数据，因此我们可以微调整个神经网络的参数，而不用担心过拟合。
3. 新的数据集小但是和原来的非常不同。因为数据集小因此我们只能训练一个小的神经网络，例如线性分类器。因为新的数据集和原来的数据集非常不同，我们最好手动训练，或者即使初始化也仅仅使用预训练神经网络的浅层。
4. 新的数据集非常大并且非常不同于原来的数据集。因为新的数据集很大，因此假设你有足够的硬件从头训练神经网络。然而，实际上如果使用预训练的神经网络初始化模型也非常有利。

不同的数据集采用的迁移学习方式图如下

 

注意

1. 预训练模型的限制。如果你想要在新的数据集上使用预训练的神经网络，你可能会就结构方面受到限制。例如，你不能任意地从预训练的网络中取出卷积层。然而，一些改变可以直接做：由于参数共享，你可以很容易地使用不同的图片尺寸作为输入，运行一个预训练的神经网络。对于卷积/池化层，处理不同尺寸图片是可能的。对于全连接层，这依然成立，因为全连接层可以被转化为全卷积层。举例，对于AlexNet，第一个全连接层之前的池化层块的size是[6*6*512]，因此看待这个块的方式就相当于通过一个感受野为6*6的卷积层，且填充为0。
2. 学习率。对于被微调的卷积权重，通常我们会使用一个较小的学习率。这是因为训练过的卷积权重已经相对较好，我们不想用较大的学习率打乱它太多。

 

参考

• CNN Features off-the-shelf: an Astounding Baseline for Recognition trains SVMs on features from ImageNet-pretrained ConvNet and reports several state of the art results.
• DeCAF reported similar findings in 2013. The framework in this paper (DeCAF) was a Python-based precursor to the C++ Caffe library.
• How transferable are features in deep neural networks? studies the transfer learning performance in detail, including some unintuitive findings about layer co-adaptations.