深度学习--迁移学习

最新推荐文章于 2024-07-12 23:22:07 发布

123天下人

最新推荐文章于 2024-07-12 23:22:07 发布

阅读量747

点赞数 24

文章标签：深度学习迁移学习人工智能

本文链接：https://blog.csdn.net/yjs030609/article/details/139534438

版权

迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。找到目标问题的相似性，迁移学习任务就是从相似性出发，将旧领域 (domain)学习过的模型应用在新领域上

我们为什么要学习迁移学习

1. 大数据与少标注的矛盾：虽然有大量的数据，但往往都是没有标注的，无法训练机器学习模型。人工进行数据标定太耗时。

2. 大数据与弱计算的矛盾：普通人无法拥有庞大的数据量与计算资源。因此需要借助于模型的迁移。

3. 普适化模型与个性化需求的矛盾：即使是在同一个任务上，一个模型也往往难以满足每个人的个性化需求，比如特定的隐私设置。这就需要在不同人之间做模型的适配。

4. 特定应用（如冷启动）的需求

迁移学习的常用概念

基本定义

域(Domain)：数据特征和特征分布组成，是学习的主体

源域 (Source domain)：已有知识的域

目标域 (Target domain)：要进行学习的域

任务 (Task)：由目标函数和学习结果组成，是学习的结果

按特征空间分类

同构迁移学习（Homogeneous TL）：源域和目标域的特征空间相同，

异构迁移学习（Heterogeneous TL）：源域和目标域的特征空间不同，

按迁移情景分类

归纳式迁移学习（Inductive TL）：源域和目标域的学习任务不同

直推式迁移学习（Transductive TL)：源域和目标域不同，学习任务相同

无监督迁移学习（Unsupervised TL)：源域和目标域均没有标签

按迁移方法分类

基于样本的迁移 (Instance based TL)：通过权重重用源域和目标域的样例进行迁移

基于样本的迁移学习方法 (Instance based Transfer Learning) 根据一定的权重生成规则，对数据样本进行重用，来进行迁移学习。下图形象地表示了基于样本迁移方法的思想源域中存在不同种类的动物，如狗、鸟、猫等，目标域只有狗这一种类别。在迁移时，为了最大限度地和目标域相似，我们可以人为地提高源域中属于狗这个类别的样本权重。

基于特征的迁移 (Feature based TL)：将源域和目标域的特征变换到相同空间

基于特征的迁移方法 (Feature based Transfer Learning) 是指将通过特征变换的方式互相迁移,来减少源域和目标域之间的差距；或者将源域和目标域的数据特征变换到统一特征空间中, 然后利用传统的机器学习方法进行分类识别。根据特征的同构和异构性,又可以分为同构和异构迁移学习。下图很形象地表示了两种基于特征的迁移学习方法。

基于模型的迁移 (Parameter based TL)：利用源域和目标域的参数共享模型基于模型的迁移方法 (Parameter/Model based Transfer Learning) 是指从源域和目标域中找到他们之间共享的参数信息,以实现迁移的方法。这种迁移方式要求的假设条件是：源域中的数据与目标域中的数据以共享一些模型的参数。下图形象地表示了基于模型的迁移学习方法的基本思想

基于关系的迁移 (Relation based TL)：利用源域中的逻辑网络关系进行迁移基于关系的迁移学习方法 (Relation Based Transfer Learning) 与上述三种方法具有截然不同的思路。这种方法比较关注源域和目标域的样本之间的关系。下图形象地表示了不同领域之间相似的关系