注:《迁移学习简明手册》待续

注:《迁移学习简明手册》

————————————————————————————————————————————————————————

一、什么是迁移学习:
迁移学习作为机器学习的⼀个重要分⽀,侧重于将已经学习过的知识迁移应⽤于新的问题中。核⼼问题是,找到新问题和原问题之间的相似性,才可以顺利地实现知识的迁移。

举一反三,照葫芦画瓢,照猫画虎...

定义:
是指利⽤数据、任务、或模型之间的相似性,将在旧领域学习过的模型,应⽤于新领域的⼀种学习过程。

 杨强老师的一篇综述:‘A survey on transfer learning[Pan and Yang, 2010]’

二、为什么需要迁移学习:
1、大数据与少标注之间的矛盾
大数据时代的问题:缺少完善的数据标注——模型训练和更新的依赖

数据标注代价高、所用时间长,目前没有有效的方式解决此问题。

2、大数据与弱计算之间的矛盾
大数据需要大设备、强计算能力的设备存储和计算,是“有钱人”才能玩的起的游戏。

3、普适化模型与个性化需求之间的矛盾
ML的目标是尽可能的通用模型——模型的泛化能力

不同的用户有不同的需求——个性化需求,同时也有一些隐私需求。唯一性、特异性

4、特定应用的需求
特定领域——特定需求——现实存在的问题,如:推荐系统冷启动问题

迁移学如何解决这些问题:

大数据与少标注:迁移数据标注——寻找相似的有标注的数据进行新数据标注
大数据与弱计算:模型迁移——将已经训练好的模型迁移到项目中,微调、自适应优化更新模型
普适化模型与个性化需求:自适应学习——普适化模型进行自适应学习,灵活调整
特定应用的需求:相似领域知识迁移——相似领域迁移

三、迁移学习与相近概念区别:

迁移学习 VS 传统机器学习:
迁移学习 VS 终身学习:终⾝学习强调连续不断地在⼀个概念和任务上进⾏学习,模型持续优化。迁移学习则侧重于模型的迁移和共同学习。
迁移学习 VS 多任务学习:多任务学习指多个相关的任务⼀起协同学习;迁移学习则强调知识由⼀个领域迁移到另⼀个领域的过程。迁移是思想,多任务是其中的⼀个具体形式。
. 迁移学习 VS 领域自适应:领域⾃适应问题是迁移学习的研究内容之⼀,它侧重于解决特征空间⼀致、类别空间⼀致,仅特征分布不⼀致的问题。⽽迁移学习也可以解决上述内容不⼀致的情况。
迁移学习 VS 增量学习:增量学习侧重解决数据不断到来,模型不断更新的问题。迁移学习显然和其有着不同之处。
迁移学习 VS 自我学习:⾃我学习指的是模型不断地从⾃⾝处进⾏更新,⽽迁移学习强调知识在不同的领域间进⾏迁移。
迁移学习 VS 协方差漂移:协⽅差漂移也是迁移学习要研究的问题之⼀,它特指数据的条件概率分布发⽣变化。
负迁移:——引入迁移学习中的一个负面现象
定义:在源域上学习到的知识,对于目标域上的学习产⽣负面作用。

两个领域之间不存在相似性,或者基本不相似——迁移学习效果差

原因:

1、数据问题:源域和⽬标域压根不相似,谈何迁移?

2、源域和⽬标域是相似的,但是,迁移学习⽅法不够好,没找到可迁移的成分。

最新的研究成果
Transitive transfer learning [Tan et al., 2015]——传递迁移学习:两个领域不相似,利用两者之间的若干领域进行传递式迁移。

  Distant domain transfer learning [Tan et al., 2017]——用人脸识别飞机

四、迁移学习的研究领域——没有统一标准

分类四个标准:目标域有无标签、学习方法、特征、离线与在线形式。

1、按照目标域分类:
监督迁移学习 (Supervised Transfer Learning),半监督迁移学习 (Semi-Supervised Transfer Learning),⽆监督迁移学习 (Unsupervised Transfer Learning)

难点:半监督、监督

2、按照学习方法分类:

1、数据问题:源域和⽬标域压根不相似,谈何迁移?

1. 基于样本的迁移学习⽅法 (Instance based Transfer Learning)——基于实例的迁移,简单来说就是通过权重重⽤,对源域和⽬标域的样例进⾏迁移。比如相似度高权重高

2. 基于特征的迁移学习⽅法 (Feature based Transfer Learning)——更进⼀步对特征进⾏变换。

3. 基于模型的迁移学习⽅法 (Model based Transfer Learning)

4. 基于关系的迁移学习⽅法 (Relation based Transfer Learning)

P8

fafag

fasdf

fa

fas
fafa
dfaf
12

da

  • fa

dfaf

fasdf
    fas
    fd

- fa
fafd

学习笔记

    知乎——小王爱迁移

注:如转载,务必标明出处即作者信息:
@洋石灰儿
@data:2018-5-16
@链接:https://blog.csdn.net/Yshihui/article/details/80336961

展开阅读全文

没有更多推荐了,返回首页