partial transfer learning文章总结（一）

最近在看partial transfer learning方面的文献，借此机会总结下，正好填坑，预计一共会写四篇，这篇是第一篇，就介绍下迁移学习和partial transfer learning问题的一些基本概念，下面几篇文章再就具体文献进行分析。
问题情境：partial transfer Learning解决的是迁移学习的一个子问题。所谓迁移学习，是指在给定一个源域任务和一个目标域任务时，通过在源域任务上进行训练，可以通过一些方式将源域上训练好的模型直接迁移到目标域上进行使用，并能达到很好的效果，从而可以有效减小计算成本。现在迁移学习问题中最常见的设置是将源域任务设置为有标注的，而目标域任务是没有标注，但是往往却是与源域任务有关联的，比如源域是mnist数据集，目标域是fashion-mnist数据集。这样极大的将一些问题从昂贵的标注成本中解放出来，极大降低了模型训练的门槛。
但是，实际上现有的迁移学习中，源域与目标域却往往是类别总是相同的。任以mnist数据集和fashion-mnist数据集为例，二者标签均为0-9这10个数字，但是却有所区别，mnist数据集中这些数字均为黑白的，而fashion-mnist却是彩色的，正是由于这种关联性的存在，源域上有标签的mnist数据集经过训练后可以迁移到无标注的目标域任务fashion-mnist上，并能达到较好的识别准确率。
而在实际任务中，与源域任务有关联性的情景并不少，但是实际问题中，目标域的类别数目与种类往往与源域并不完全相同，所以迁移学习的实际落地仍然是一个问题。基于此，提出了partial transfer learning这一新问题，即目标域与源域仍有关联，但是目标域的标注种类是源域标签的一个子集，即Cs⊋Ct，但是源域标签包含了多少目标域标签，具体是什么标签我们一概不知，这就是partial transfer learning的情境。这个新问题非常符合实际情境，比如常见的coco数据集有80个类，imagenet更有1000个类之多，基本涵盖了所有生活中常见的物体，但是如果按照传统迁移学习算法，在imagenet上预训练的网络结构若直接迁移是很困难的，所以一般只会当作新网络的预训练步骤，实际上是对原网络的一种浪费，而在新问题上就是更加合理，贴近实际需求。
传统迁移学习在partial transfer learning问题上的局限性：现在常见迁移学习大多以DaNN网络为基础来进行改良的，DaNN网络是将源域与目标域进行对抗训练，在两个不同域中找相同点，从而训练出适应源域与目标域两个分类任务的网络。但是partial transfer learning问题中，如果照此框架进行训练，一些在源域但不在目标域的类别会对识别的共同域产生识别误导，即所谓的负迁移，从而导致目标域上识别准确率下降，效果甚至不如finetune的效果。因此需要另寻他法。