迁移学习系列 - 有监督->无监督迁移

一.域对抗性模型

1.域对抗方式应对于源场景是有监督的、目标场景是无监督的学习问题，如下图是从数据集MNIST到MNIST-IN的迁移应用，通过有监督的MNIST数据来实现对有背景MNIST-IN图片的数字识别。

2.对于有标签到无标签的迁移问题，我们可以借用GAN的思想，构造下面的网络结构，创造这个模型的思路是：              

       [1]首先构建一个CNN网络模型，模型可以分为特征提取器和分类标签预测、域分类三大部分。                

       [2]我们会使用有监督的源场景数据进行上面部分网络的训练(我们只有源数据有标签)，上面部分训练的目标是使得源场景的预测效果尽量好，会计算损失值进行梯度调参。            

        [3]下面的网络用于进行二分类，用于判断现在输入的样本是属于源场景还是目标场景， 下面网络训练的目标是尽量能识别出输入的数据属于哪个场景。

3.我们通过构建上面的网络结构，训练的目标函数是最大化标签分类的准确率、最大化域分类准确率。

       *训练的最终目的是最大化标签分类的准确率、最小化域分类能力，也就是让下面的域分类器分不出来现在的数据属于哪个域，这样就可以说明对于这个网络两个域已经足够接近，