迁移学习相关概念
迁移学习与机器学习
但迁移学习和传统机器学习的不同如下:
比较项目 | 传统机器学习 | 迁移学习 |
---|---|---|
数据分布 | 训练和测试数据服从相同的分布 | 训练和测试数据服从不同的分布 |
数据标注 | 需要足够的数据标注来训练模型 | 不需要足够的数据标注 |
模型 | 每个任务分别建模 | 模型可以在不同任务之间迁移 |
同时域适应、迁移学习和机器学习关系如上图所示,而域适应问题正式解决的协方差漂移问题,所谓协方差漂移指数据间的条件概率分布不一致。
负迁移
要理解负迁移,首先要理解什么是迁移学习。迁移学习指的是,利用数据和领域之间存
在的相似性关系,把之前学习到的知识,应用于新的未知领域。迁移学习的核心问题是,找
到两个领域的相似性。 找到了这个相似性,就可以合理地利用,从而很好地完成迁移学习任
务。所以,如果这个相似性找的不合理,也就是说,两个领域之间不存在相似性,或者基本
不相似,那么,就会大大损害迁移学习的效果。 这时候,我们可以说出现了负迁移
(Negative Transfer)
负迁移的定义:在源域上学习到的知识,对于目标域上的学习产生负面作用。
产生负迁移的原因主要有两个:
- 数据问题:源域和目标域压根不相似,谈何迁移?
- 方法问题:源域和目标域是相似的,但是,迁移学习方法不够好,没找到可迁移的成
分。
最近的研究成果—传递迁移学习
传统迁移学习只有两个领域足够相似才可以完成,而当两个领域不相似时,传递迁移学习却可以利用处于这两个领域之间的若干领域,将知识传递式的完成迁移
迁移学习分类
按目标域分类
- 监督迁移学习(Supervised Transfer Learning)
- 半监督迁移学习(Semi-Supervised Transfer Learning)
- 无监督迁移学习(Unsupervised Transfer Learning)
按学习方法分类
1. 基于样本的迁移学习方法(Instance based Transfer Learning):
通过权重重用,对源域和目标域的样例进行迁移。就是说直接对不同的样本赋予不同权重,比如说相似的样本,我就给它高权重,这样我就完成了迁移,非常简单非常非常直接。
2. 基于特征的迁移学习方法(Feature based Transfer Learning)
目前研究最多最热的,意思是说,假设源域和目标域的特征原来不在一个空间,或者说它们在原来那个空间上不相似,那我们就想办法把它们变换到一个空间里面
3. 基于模型的迁移学习方法(Model based Transfer Learning)
Finetune
4. 基于关系的迁移学习方法(Relation based Transfer Learning)
研究较少,主要就是说挖掘和利用关系进行类比迁移。比如老师上课、学生听课就可以类比为公司开会的场景。这个就是一种关系的迁移。
5. 还有几种方法结合起来用的
按特征分类
- 同构迁移学习(Homogeneous Transfer Learning)
- 异构迁移学习(Heterogeneous Transfer Learning)
举个例子来说,不同图片的迁移,就可以认为是同构;而图片到文本的迁移,则是异构的。
按离线与在线形式分
- 离线迁移学习(Offline Transfer Learning)
- 在线迁移学习(Online Transfer Learning)
基础知识
领域上的数据,我们通常用小写粗体
x
\bf x
x 来表示,它也是向量的表示形式。例如,
x
i
\bf x_i
xi 就
表示第i 个样本或特征。用大写的黑体
X
\bf X
X 表示一个领域的数据,这是一种矩阵形式。我们
用大写花体
X
\mathcal X
X 来表示数据的特征空间。
值得注意的是,概率分布P 通常只是一个逻辑上的概念,即我们认为不同领域有不同
的概率分布,却一般不给出(也难以给出)P 的具体形式。
迁移学习的定义需要进行如下的考虑:
(1) 特征空间的异同,即
X
s
\mathcal X_s
Xs 和
X
t
\mathcal X_t
Xt 是否相等。
(2) 类别空间的异同:即
Y
s
\mathcal Y_s
Ys和
Y
s
\mathcal Y_s
Ys是否相等。
(3) 条件概率分布的异同:即
Q
s
(
y
s
∣
x
s
)
\ Q_s(y_s|x_s)
Qs(ys∣xs)和
Q
t
(
y
t
∣
x
t
)
\ Q_t(y_t|x_t)
Qt(yt∣xt)是否相等。
迁移学习的核心是,找到源领域和目标领域之间的相似性的。这种相似性也可以理解
为不变量。
有了相似性后,下一步工作就是 如何度量和利用这种相似性
度量的两个目标:
1.定性和定量的找到两个域的相似性
2.以度量为准则,通过我们所要采用的学习手段,增大两个领域之间的相似性,从而完成迁移学习。
简单地说度量就是描述两个域之间的距离和相似性
迁移学习理论支持
详细可看:
A theory of learning from different domains,2010
龙明盛老师的报告