Domain Adaption Without Source Data论文阅读笔记

总的来说：
源模型经过一个特征提取器和一个分类器后得到一个标签$y_s$
可训练的目标模型输入目标样本，经过特征提取器后，分类器$C_{s2t}$用源伪标签训练，分类器$C_t$用目标伪标签$y_t$训练。
其中的$y_t$是由APM得到的。APM中，一旦得到伪标签，就移除不可靠样本（集合到集合基于距离的置信度）。用目标伪标签以自学习方式，源伪标签作为正则化器将目标模型适应到目标域。
APM
目标模型两种loss，$C_{s2t}$利用的伪标签（预训练源模型后推断的目标样本得到的），不会改变。对所有目标样本利用APM分配伪标签，包括对每个类的可靠目标样本（多样本）。
伪标签
给定目标样本到特征提取器产生嵌入特征$f_t$，技术嵌入特征和所有APM中样本的相似度分数，APM中每个类可有不同数量的类代表样本。最后选择最相似的类得到伪标签。

$C_{s2t}$得到的loss是$L_{source}$，$C_t$的loss是$L_{self}$用到了w，如果最相似小于次相似w是1否则是0。

一、引言
这篇文章中提出了一个新颖的方法，可以解耦直接用源数据的域适应过程，通过利用预训练源模型。关键思想：使用一个预训练源模型和reliable目标样本以自训练的方式更新目标模型。产生问题：怎样从预训练源模型中挑选可靠的目标样本。
在域适应中，源域目标域在协变量偏移下紧密相关。预测不准确性课通过自熵量化，$H(x)=-\sum p(x)log(p(x))$，这里小的熵意味着更自信的预测。基于此，猜想在无标签的目标样本中，通过预训练源模型衡量的熵低的样本足够可靠。
为验证，我们衡量被喂入一个预训练源模型的目标样本的自熵，然后分析准确性和样本分布。
如图1，将熵值低于0.2的样本作“可靠样本”，占了总样本的30%左右。从结果看，我们可以总结：一个目标模型可以用可靠的目标样本通过自熵准则训练，但致命的是样本很少。

为了解决可靠但很少目标样本的问题，提出一个新的两部分组成的框架。一个是来自源域的预训练模型，所有权重都被冻结，另一个是从预训练模型初始化来的目标模型，但是通过两个losses逐渐发展。第一个损失使用来自预训练源模型的所有目标样本的source-oriented pseudo labels，这防止目标模型产生由第二个自学习损失产生的自偏差问题。第二个损失利用从可训练目标网络得到的目标样本的target-oriented pseudo labels优化目标模型。
更准确的，我们周期性的存储每个类的低熵可靠样本作为prototypes，在一个记忆库中训练过程中。然后，我们基于嵌入样本和存储类prototypes直接的相似度为一个目标样本分配target-oriented pseudo labels。然而，伪标签可能不总是准确的，所以我们提出一个基于置信度的样本过滤，通过测量集合-集合的距离。训练中，逐渐增加第二个损失的影响，允许我们的目标模型以渐进方式适应到目标域。

我们工作的主要贡献：1）解决存在数据隐私问题的环境下的域适应，这是第一个训练时没有任何源数据的工作。2）为了从源数据中结构域适应，提出新颖的逐渐发展的框架：基于可靠的目标样本，来自源域细腻些的正则化。3）尽管不用任何源样本训练我们的目标模型，比传统用带标签源数据的模型更好效果。

二、方法

1. 问题
与UDA相比，训练过程中没有用到任何带标签的源样本。
UDA目标是最小化一个带标签源域和一个不带标签目标域之间的差异，前提是源和目标样本取自不同但相关的概率分布。
SFDA假设无法得到源域样本，利用源域的预训练模型。目的在于通过预训练源模型的参数和不带标签的目标域实现无监督域适应。

2. SFDA框架
主要包括两种模型：预训练源模型和一个可训练的目标模型。
源模型包括：一个特征提取器$F_s$和一个分类器$C_s$，在源域预训练后这些模块的参数都是固定的。
可训练的目标模型包括：一个特征提取器$F_t$（有多分支分类器$C_{s2t}$和$C_t$），每个模块的参数都是用预训练源模型的参数初始化来的（${\theta }_{F_s},{\theta }_{C_s}$）。
当目标样本作为输入送入$F_t$时，上分支（$C_{s2t}$）用$source-oriented$伪标签$\widehat{y_s}$进行训练（伪标签在预训练分类器$C_s$中得到）。下分支（$C_t$）用$target-oriented$伪标签$\widehat{y_t}$进行训练（由提出的APM得到的）。一旦从APM中得到了伪标签$\widehat{y_t}$，我们就通过集合到集合的基于距离的置信度移除不可靠样本。
总的来说，以一种自学习方式利用伪标签$\widehat{y_t}$将目标模型适应到目标域，用预训练源模型的得到的源知识 y s ^ \hat{y_s}