【算法笔记】域适应（Domain Adaptation）

首先感谢原博主：https://www.cnblogs.com/Terrypython/p/10645520.html

1. 定义

在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation）。
比如说，我们要实现一个自动区分垃圾邮件的算法。源数据是我的邮箱中的数据。现在要用这个算法对我朋友邮箱中的邮件进行分类。那么这就是两个任务相同，数据分布不同的任务了。

2. 实现方式

几乎所有的手段都尝试去学习一个特征转换，使得在转换过后的特征空间上，source dataset和target dataset分布的区分度达到最小。

1. 边缘分布相同，条件分布不同且相关
2. 边缘分布不同且相关，条件分布相同
3. 边缘分布和条件分布都不同且相关

什么是边缘分布？
所谓边缘分布就是数据在特征空间当中的分布，如果你不理解特征空间这个词，把它理解为数据分布就好。

Instance reweighting和subspace learning是Domain adaptation中两种经典的学习策略.

1. Instance reweighting对source data每一个样本加权，学习一组权使得分布差异最小化
2. subspace learning则是转换到一个新的共享样本空间上，使得两者的分布相匹配
3. 另外比较重要的的一点是，实际训练当中，“最小化分布差异”这个约束条件是放在目标函数中和最小化误差一起优化的，而不是单独优化。