文献打卡第十五天

Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaption

问题：1）数据往往分布在不同的设备上，源域数据的转移是高成本的；2）源域数据大多包含隐私信息，存在隐私安全问题。

解决思路：1）源域数据很大，但是源域训练好的模型很小，如下图；2）隐私保护方面，Hypothesis Transfer Learning ， HTL方法可以借鉴：学习器不直接接触到源域数据，而只是在源域数据中感应到的假定（hypotheses）进行操作，但传统的HTL方法需要目标域数据具有标签（label）或者多个假定（hypotheses）需要来自于不同的源域，并不适用于无监督领域自适应（UDA），故需要加以改进.

摘要：SHOT冻结源模型的分类器模块（假设），并通过利用信息最大化和自监督伪标记来学习特定于目标的特征提取模块，从而隐式地将目标域的表示与源假设对齐。

方法：

首先，我们从源数据生成源模型。其次，我们放弃源数据，在不访问源数据的情况下将模型（包括源假设）转移到目标域。第三，我们进一步研究如何为两者设计更好的网络架构

1）得到源域模型。训练深度神经网络时应用交叉熵损失：

其中

代表了k维向量a的分类输出的第k个元素；q代表，当正确分类时，q=1，当错误分类时，q=0；

为了提高源域模型的分类能力，并且促进接下来目标域数据的匹配，使用了标签光滑（label smoothing，LS）技术，故需要优化的目标函数变成：

其中

 是被光滑的标签（the smoothed label）；α是光滑参数（smoothing parameter），它经验上被设定为0.1。

2、

信息最大化的SHOT（Source Hypothesis Transfer with Information Maximization,SHOT-IM)

传统的DA方法大多是最小化MMD或使用域对抗匹配（Domain Adversarial Alignment），但是它们都需要源域数据；ADDA（Tzeng et al.,2017)放开了参数共享的限制（parameter-sharing constraint)，学习每个域不同的映射函数（mapping functions），DIRT-T（Shu et al.,2018）第一次训练了参数共享的DA框架作为初始化，并且依据最小化簇假定违背原则（cluster assumption violation）微调（fine-tunes）了整个网络。上述两种方法说明学习域特定特征编码模块（domain-specific feature encoding module）是现实的，甚至会比参数共享机制（parameter-sharing mechanism)表现更好。

SHOT框架把深度神经网络分成两部分，一部分是特征编码模块（feature encoding module），一部分是分类器模块（classifier module/hypothesis)，要学习的是域特定编码模块（domain-specific feature encoding module)，而固定分类器模块，因为分类器模块编码了源域假设的分布信息。

一些结果