CVPR2019 Transferrable Prototypical Networks for Unsupervised Domain Adaptation

题目：用于无监督域自适应的可迁移原型网络

作者：潘滢炜个人主页 京东AI研究院
出处：CVPR2019 Oral arxiv1904.11227v1
源码：暂无

动机：

域自适应的关键是如何减小source domain和target domain的特征的差异。现有的方法直接对齐source domain和target domain的整体分布，忽略了细粒度的domain gap。本文提出在类别和样本的粒度上减小域差异。

核心点/摘要：

本文提出了基于原型网络的无监督域自适应算法——用于自适应的可转移原型网络(TPN)，使得源域和目标域中每个类的原型在嵌入空间上接近，并且每个类的原型在源域和目标域的数据上预测的得分分布相似。
技术上，TPN先将每个目标域的样本与源域中最近的原型进行匹配，并为样本分配一个伪标签。然后分别在仅源数据、仅目标数据和源域+目标域数据上计算每个类的原型。TPN是通过联合最小化原型在三种数据类型上的距离以及每对原型输出的分数分布的KL散度来进行端到端训练的。
在跨MNIST、USPS和SVHN数据集的迁移上进行了广泛的实验，当与最先进的方法比较时，显示了优越的结果。更值得注意的是，我们在VisDA 2017数据集上获得了单模型的80.4%的准确率。

数据集：

MNIST、USPS【手写数字图像】、SVHN【在谷歌街景的真实世界的房子号码图像】、VisDA 2017【合成到真实对象分类数据集】

主要贡献：

把原型网络应用到无监督域自适应的场景——通过减少多粒度(即类级和样本级)域差异来对齐源域和目标域的分布，使原型网络能够跨域迁移。

相关工作：

1、UDA

• 对齐源域和目标域之间的数据分布，或者通过相关距离或最大平均误差等度量方式来最小化domain shifts来构建域之间的不变性
  参考文献：[31]、[15]、[17]、[16]、[27]、[34]
• 学习域鉴别器
  域鉴别器被设计用来预测每个输入样本的域(源/目标)，并以一种对抗的方式进行训练，类似于GANs，以学习域不变表示。
  参考文献：[4,14,29,30,35]、Coupled GANs[13] 、[32]

2、原型网络
假设存在一个嵌入空间，在这个空间中，每个类中的样本的投影围绕一个原型(或质心)聚类。然后通过计算每个类在嵌入空间中相对于原型表示的距离来进行分类。
参考文献：[26]

模型框架：

具体步骤：
目标是学习内嵌函数$f(x_i;\theta ):x_i\to R^m$（把输入样本转换到嵌入空间），它形式化地减少了共享特征空间中的域移位，并使学习依赖于源域和目标域数据的可转移表示和分类器成为可能。

1. 在源域数据上训练分类器（原型${\mu }_c^s$），并直接为目标域数据预测一个伪标签（得分>0.6）
2. 构建在target-only和source-target数据上的分类器（原型 μ c t 、 μ c s t μ_c^t 、μ_c^{st} μct​、μcst</