5328始终要记住全局和样本是不同的。这是关键。
当我们说2个任务不同时,其实是说它们的全局数据分布不同。如果2个任务有相同的全局数据分布,那么我们可以使用相同的算法去解决它们。
数据的概率分布就是domain。
机器要想做相同知识的学习,需要明白2个重要的概念,domain adaptation域适应和transfer learning迁移学习。
domain adaptation域适应: source domain—>target domain
philosophy说完了,下面就是具体实现了
knowledge就是model A的参数。自监督的weight frozen一个道理。pre-trained的网络都是transfer learning。
最重要的概率:Important reweighting
β是迁移率。Pt是数据在target domain上的分布概率。Ps是在source domain上的分布概率。
A是红色,B是绿色,蓝色是A向B不断的移动,最终A移动到B。
领域适应,就是让领域A往领域B进行移动,使得信息保留最多。
让上面的公式min,可以求得β值。
X都是猫,它们的X的特征是相同的。所以可以target shift model。
所以上面两种模型,要么是X分布一样,要么是y的分布一样。如果X,y都一样,那data就是同一个domain。不需要迁移了。如果都不相同,就没办法迁移了。
β(y)比β(x)更好求,因为β(y)只要看source domian和target domian的y的分布然后就可以求出了。但是β(x),由于特征是很多维的,所以需要RKHS再生核希尔伯特空间来计算两个domian的概率,再求比值了。
所以迁移学习的问题就是将β(X,y)的联合概率分布转化为控制一个概率分布,求另一个概率分布的比值,得出针对单一变量的β值。(y本身是一个值,x是很多值,可以通过RKHS)。其实就是控制变量法。