Domain generalization 简介

一、综述

　　最近由于交流的需要，读了几篇关于Domain adaptation的文章，其中一种名叫Domain generalization的技术引起了我的注意，这种技术可以在target domain未知的情况下训练出分类器而且性能还相当不错，下面就对这种技术进行一下简单的介绍。

二、迁移学习

　　提到Domain adaptation，就不得不提到迁移学习（transfer learning），按照我的理解，Domain adaptation算是迁移学习中的一种特殊算法，在介绍Domain adaptation之前，先对迁移学习进行简单的介绍。
　　迁移学习出现的背景如下：在一些新兴领域很难得到我们需要的大量的训练数据，另外，传统的机器学习需要对每个领域都标定大量训练数据，这将会耗费大量的人力与物力。而迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。因此，相对于传统的机器学习假设训练数据与测试数据服从相同的数据分布，迁移学习不会像传统机器学习那样作同分布假设。
　　迁移学习是指一个学习算法可以利用不同学习任务之间的共性来共享统计的优点和在任务间迁移知识。传统的机器学习假设训练数据与测试数据服从相同的数据分布。如果我们有了大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些数据就是迁移学习主要解决的问题。迁移学习可以从现有的数据中迁移知识，用来帮助将来的学习。

三、Domain adaptation

　　Domain adaptation中文名称是域自适应学习，可以有效处理训练数据与测试数据具有不同分布的问题。拿经典的垃圾邮件分类问题来说，分类器是在某个用户的邮箱数据上训练完成的，再将分类器用到另一个与训练用户邮箱中的邮件内容很大程度上不相关的另一个用户的邮件上面，就可以用域自适应学习来解决。再介绍Domain adaptation中的两个概念：source domain 和 target domain；中文名称是源域和目标域，分别对应于普通机器学习任务的训练集和测试集。下面引用自动化学报《域自适应学习研究进展》这篇文章对域自适应学习的描述：

　　域自适应学习能够有效地解决训练样本和测试样本概率分布不一致的学习问题, 作为机器学习新出现的研究领域在近几年受到了广泛的关注。传统的机器学习算法中, 通常假设训练样本和测试样本来自同一概率分布, 然后设计相应的模型和判别准则对待测试的样例的输出进行预测.。但是实际上当前很多学习场景下训练样本的概率分布和测试样本的概率分布是不同的, 例如如何根据老用户的邮件信息设计一种面向新用户的垃圾邮件过滤系统、自然语言处理方面的情感分析、依存句法分析、跨语言处理等都属于域自适应学习问题.。如何在这种源域和目标域概率分布不一致的情况下进行学习即为域自适应学习问题。 因此, 域自适应学习的重点在于如何克服源域分布和目标域分布不同, 实现目标域上的学习任务。

四、Domain generalization

　　终于进入到我们的正题 domain generalization了，domain generalization是domain adaptation中的一种特殊的技术，其目的是基于domain adaptation技术学习对于任何不可见的target domain的具有很强鲁棒性的分类器。所谓不可见的target domain是指在分类器的训练过程中，我们并不知道target domain的任何情况。与传统的机器学习方法不同，由于目标域和源域是具有不同的概率分布的，如果在训练过程中我们无法获得目标域的任何信息就代表着训练出的分类器可能无法在目标域上取得良好的表现，而在现实应用中，目标域往往是不可知的，在这种背景下domain generalization应运而生。
　　从其目的上看，这项技术有两个主要的难点：1.目标域不可见 2.要对任何目标域都起作用。按照我个人的理解，第二项难点中的“任何”二字应该还是有局限的，比如说源域为图像分类任务，目标域应该也和图像分类有关而不能是自然语言理解之类的任务，所以在这里的“任何”并不是广义上的任何。在这个层面上来讲，我们剩下的难点就可以融合成一个，即目标域不可知。
　　目前成熟的domain generalization方法基本可以分为三类，分别是：
　　1.feature-based method [1,2,3,4,5]
　　2.classifier-based method [6,7,8,9,10]
　　3.instance-reweighting method
　　在第一类方法中，主要通过设计跨域不变特征来实现domain generalization；第二类方法往往是针对每个数据集也就是源域中的每一个子域对子分类器进行设计，然后将子分类器结合成一个融合分类器来实现domain generalization；最后一类方法我不是很了解，有想深入了解的读者可以读一下《Correcting sample selection bias by unlabeled data》这篇文章。

五、参考资料

[1] Unsupervised domain adaptation by domain invariant projection
[2] Unsupervised visual domain adaptation using subspace alignment
[3] Geodesic flow kernel for unsupervised domain adaptation
[4] Domain adaptation for object recognition: An unsupervised approach
[5] What you saw is not what you get: Domain adaptation using asymmetric kernel transforms
[6] Domain adaptation problems: A DASVM classification technique and a circular validation strategy
[7] Domain adaptation from multiple sources: A domain-dependent regularization approach
[8] Domain transfer multiple kernel learning
[9] Multi-view Domain Generalization for Visual Recognition
[10] Visual Recognition by Learning from Web Data: A Weakly Supervised Domain Generalization Approach