5328笔记 Advanced ML Chapter8-Domain Adaptation and Transfer Learning

5328始终要记住全局和样本是不同的。这是关键。

当我们说2个任务不同时，其实是说它们的全局数据分布不同。如果2个任务有相同的全局数据分布，那么我们可以使用相同的算法去解决它们。





数据的概率分布就是domain。



机器要想做相同知识的学习，需要明白2个重要的概念，domain adaptation域适应和transfer learning迁移学习。
domain adaptation域适应： source domain—>target domain

philosophy说完了，下面就是具体实现了




knowledge就是model A的参数。自监督的weight frozen一个道理。pre-trained的网络都是transfer learning。



最重要的概率：Important reweighting

β是迁移率。Pt是数据在target domain上的分布概率。Ps是在source domain上的分布概率。








A是红色，B是绿色，蓝色是A向B不断的移动，最终A移动到B。
领域适应，就是让领域A往领域B进行移动，使得信息保留最多。

让上面的公式min，可以求得β值。







X都是猫，它们的X的特征是相同的。所以可以target shift model。

所以上面两种模型，要么是X分布一样，要么是y的分布一样。如果X，y都一样，那data就是同一个domain。不需要迁移了。如果都不相同，就没办法迁移了。

β(y)比β(x)更好求，因为β(y)只要看source domian和target domian的y的分布然后就可以求出了。但是β(x)，由于特征是很多维的，所以需要RKHS再生核希尔伯特空间来计算两个domian的概率，再求比值了。

所以迁移学习的问题就是将β（X，y）的联合概率分布转化为控制一个概率分布，求另一个概率分布的比值，得出针对单一变量的β值。（y本身是一个值，x是很多值，可以通过RKHS）。其实就是控制变量法。