multi-source 领域泛化总结

1、 Boosting for transfer learning with multiple sources

1、 MUDA  AAAI 19 的multi-source 论文

论文大概分为两步（适合心情好的时候跑着玩一玩）：

第一步  每个source到target的Maximum Mean Discrepancy (MMD)距离尽量小，同时source自己的分类的交叉熵尽量小。这样过每个source 映射到target, 然后同时每个source 有自己的特征提取器和分类器。

第二步 它认为不同的分类器应该对target的分类应该是一样的结果，所以有了第三个loss,不同分类结果的loss.

挺好理解的。这个方法同样也存在问题，如果source 数据很多怎么办，是不是要对每个source 数据产生的结果都进行优化，每个source数据都映射到target 数据。

2、Improving Domain-Adapted Sentiment Classification by Deep Adversarial Mutual Learning，AAAI2020

这篇论文适合只有一个source 和 target的数据，它希望两个初始化不一样的模型可以相互指导学习。

3、Moment Matching for Multi-Source Domain Adaptation，ICCV2019

这篇论文写得有点让人迷糊，我就只能看了代码。

第一步 每个source使用同样的 feafure extrator, 相同的 classifier, 这样每个source x 和 source y 用交叉熵可以解决这样问题。

第二部  它希望每个source 的特征可以和target的 domain 可以匹配，如何匹配呢，这里有一个迷惑行为，每个不同组的输出之间欧几里得距离要近，真的不懂这样的正则方法。