迁移学习系列 - 有->有监督迁移

一.Model fine-tuning方式

1.Model fine-tuning模型是应对于源数据和目标数据都是有标签、且有大量源数据、少量目标数据的情况。

最典型的例子是之前做狗种类识别竞赛时，用到的迁移方法，针对于训练集中每个狗只有100张左右训练图像的问题，我们使用的方法是：            

           [1]使用别人训练好的用于1024个物种分类(相似域、不同任务)的Resnet网络，用于对目标数据进行特征提取。            

          [2]使用提取到的1024个高级特征，利用训练数据集去训练一个三层的神经网络，最后输出120个种类，从而做到物种分类的效果。

                           

2.上面举的例子应该算是一种比较改进的Model fine-tuning方法，我们先从最基本形式开始介绍。

       *最基本的方法是直接将源场景训练好的模型直接拿过来使用，将模型参数都拿过来使用新数据集进行训练，如直接使用ImageNet进行resnet网络的训练，之后在自己的狗种类识别图片上进行狗种类的预测，这种迁移方式会修改resnet网络的参数。

        *但是这种方式有个问题是源场景训练出来的模型有很强的泛化能力，现在拿这个泛化能力很强