首次适应算法_TPAMI2020:无监督多类域适应：理论，算法与实践

本文介绍我们最近的一篇TPAMI工作：Unsupervised Multi-Class Domain Adaptation: Theory, Algorithms, and Practice。 域适应（即domain adaptation）是迁移学习中的重要课题。该课题的目标是：

输入有标签的源域数据和无标签的目标域数据，输出一个适用于目标域的模型。 源域和目标域假设任务相同但是数据分布不同

既然源域和目标域的数据分布不同，该任务的经典解决方法是：

找到一个特征空间，将分布不同的源域和目标域数据映射到该特征空间后，希望源域和目标域的数据分布差异尽可能小； 这样基于源域数据训练的模型，就可以用于目标域数据上

如何找到该特征空间，更具体来说，如何衡量两个域数据分布之间的差异是域适应任务的核心问题。

通过对抗训练的方式实现两个域的数据分布对齐在域适应任务中被广泛采用[1]。近期很多对抗域适应的算法采用特征映射网络和分类器进行对抗的方式[2,3,4,5]。虽然基于分类器进行对抗训练的方法[2,3,4,5]取得了不错的结果,但是这些算法与现有理论并不是完全吻合的；也就是说，理论和算法之间存在一定的差距。 出于此目的，我们对现有的域适应理论进行了改进，使其可以更好的支撑现有算法。同时，基于该理论框架，我们提出了一系列新的算法，并在closed set, partial, and open set 域适应三个任务上验证了其有效性。该文章的要点可以总结如下：

1. 理论方面：提出了Multi-Class Scoring Disagreement (MCSD) divergence来衡量两个域数据分布之间的差异；其中MCSD可以充分衡量两个scoring hypotheses（可以理解为分类器） 之间的差异。基于MCSD divergence, 我们提出了新的Adaptation Bound， 并详细讨论了我们理论框架和之前框架的关系。
2. 算法方面：基于MCSD divergence 的理论，我们提出了一套新的代码框架Multi-class Domain-adversarial learning Networks (McDalNets)。McDalNets的不同实现与近期的流行方法相似或相同，因此从理论层面支撑了这些方法 [2,3,4,5]。此外，我们提出了一个新的算法SymmNets-V2, 该方法是我们之前会议工作[3]的改进版本。
3. 实践方面：我们在closed set, partial, and open set 三种实验设置下验证了我们提出方法的有效性。代码链接：Code

理论方面：

如上文所言，如何衡量两个域之间的差异是域适应任务的核心问题。为了更加细粒度地衡量两个域之间的差异，我们引入了如下的 MCSD divergence:

其中

充分衡量了scoring functions

在域

上的不一致性（相对于下面将要描述的其他度量方法).

的定义如下：

是ramp loss,

指代a