迁移学习，DomainAdaption 笔记

最新推荐文章于 2024-08-31 11:17:36 发布

薄羽蜉蝣

最新推荐文章于 2024-08-31 11:17:36 发布

阅读量582

点赞数

分类专栏：笔记

本文链接：https://blog.csdn.net/qq_33913063/article/details/101470781

版权

16 篇文章 0 订阅

订阅专栏

迁移学习

How to transfer：如何进行迁移学习？（设计迁移方法）
What to transfer：给定一个目标领域，如何找到相对应的源领域，然后进行迁移？（源领域选择）
When to transfer：什么时候可以进行迁移，什么时候不可以？（避免负迁移）

域(Domain)：数据特征和特征分布组成，是学习的主体
源域 (Source domain)：已有知识的域
目标域 (Target domain)：要进行学习的域
任务 (Task)：由目标函数和学习结果组成，是学习的结果

迁移学习与领域自适应：领域自适应：使两个特征分布不一致的domain一致。
迁移学习与协方差漂移：协方差漂移：数据的条件概率分布发生变化。
finetune是最简单的深度网络迁移方法。finetune就是利用别人己经训练好的网络，针对自己的任务再进行调整。
深度网络自适应:
finetune 它无法处理训练数据和测试数据分布不同的情况。因为 finetune 的基本假设也是训练数据和测试数据服从相同的数据分布。这在迁移学习中也是不成立的。因此，我们需要更进一步，针对深度网络开发出更好的方法使之更好地完成迁移学习任务。
Question : how to 深度网络自适应
生成对抗网络 GAN(Generative Adversarial Nets) 它一共包括两个部分：

生成网络(Generative Network)，此部分负责生成尽可能地以假乱真的样本
判别网络(Discriminative Network)：负责判断样本是真实的，还是由生成器生成的，这部分被成为判别器(Discriminator) 生成器和判别器的互相博弈，就完成了对抗训练。
GAN 在迁移学习中的应用：
在迁移学习中，天然地存在一个源领域，一个目标领域，直接将其中一个领域的数据 (通常是目标域) 当作是生成的样本。
生成器的职能变成了特征提取的功能：不断学习领域数据的特征使得判别器无法对两个领域进行分辨。

in this paper, we focus on analyzing and discussing deepDA methods.

不同数据库的数据分布不同，基于几个数据库的训练网络在另一个数据库上会表现出数据分布的迁移，可以称之为域的迁移。

instance-based DA：对源数据库进行处理，用处理后的数据库训练
The first class reduces the discrepancy by reweighting the source samples,and it trains on the weighted source samples.
feature-based DA：寻找数据库交集，满足两个数据库。
a common shared space is generally learned in which the distributions of the two datasets are matched.