迁移学习介绍

迁移学习及介绍

最近刚入手迁移学习如有不正确的地方欢迎各位同行进行评论，共同学习

传统的机器学习通常假设训练数据和测试数据来自相同的特征空间且有相同的数据分布，然而当数据的分布发生改变的时候大多数的机器学习算法需要重新收集大量新的数据去训练模型，在现实中这种做法是需要耗费大量的人力和财力的，为了减少构建新模型所需的数据需求，这时就可以用到迁移学习技术

论文:A Survey on Transfer Learning给出了迁移学习相关概念的定义：
首先是有关域和任务的定义
域D由两部分组成：
特征空间X和边缘概率分布P(x)
其中特征空间是所有特征的结合
给定一个特定的域，任务有两部分组成:
标签空间y和目标预测函数f(·)
标签空间就是所有标签所组成的集合，而目标预测函数可以看成是我们所用训练数据训练出的超平面，其输入是样本输出是样本标签。
迁移学习的定义：给定一个原域DS和学习任务TS,一个目标域DT和学习任务Tt，迁移学习的目的是当DS≠DT或TS≠TT时，使用原域DS和TS中已有的知识去改善目标域中的目标预测函数的性能
而当域不同时又分为两种情况：
1、特征空间不同
以文本分类为例，特征空间不同相当于是两个文档是用不同的语言写的
2、和特征空间相同而边缘分布不同
还是以文本分类为例，相当于是语言相同但两个文档中的话题不同
而当任务不同时有两种情况：
1、类别空间不同
2、目标预测函数不同
还是以文档分类为例，类别空间不同比如原域中有两个类别，而目标域是十分类

在迁移学习时应该迁移哪些内容呢？
有些知识是专用于特定领域，而有些知识在不同的领域是通用的，我们用过迁移的是这些通用的知识，因为他们有助于提高目标域或任务的性能
如何迁移呢？
在确定要迁移的知识后，需要开发相应的算法进行迁移
什么情况下迁移效果比较好呢？
当目标域和源域比较相似时效果要比不相似时好，在迁移不当时还会造成负迁移，反而使目标域或任务的性能下降。
论文还将迁移学习分为了三个大类：归纳式迁移学习，直推式迁移学习和无监督的迁移学习，而根据不同的情况又将每个大类分成了四个小类在此不再多做介绍

迁移学习在深度学习的情况：
深度学习最面对的最严重的问题是数据依赖，对有监督的来说它需要大量的标注好的样本才能发挥出其特长，而在很多情况下我们收集不到很大规模的样本对其进行训练，这时我们就可以用迁移学习的方法来解决数据不足的问题。
迁移学习放宽了传统机器学习中训练数据和测试数据必须独立同分布的假设，目标域的模型也不需要从头开始训练，显著降低了目标域对训练数据和训练时间的要求
论文A Survey on Deep Transfer Learning将深度迁移分为四类
1、基于实例的迁移学习
基于实例的深度迁移学习是指使用特定的权重调整策略，通过为那些选中的实例分配适当的权重，从源域中选择部分实例作为目标域训练集的补充

2、基于映射的迁移学习
基于映射的深度迁移学习是指将源域和目标域中的实例映射到新的数据空间。在这个新的数据空间中，来自两个域的实例都相似且适用于联合深度神经网络。
3、基于网络的迁移学习
基于网络的深度迁移学习是指复用在源域中预先训练好的部分网络，包括其网络结构和连接参数，将其迁移到目标域中使用的深度神经网络的一部分。
4、基于对抗的深度迁移学习
基于对抗的深度迁移学习是指引入受生成对抗网络启发的对抗技术，以找到适用于源域和目标域的可迁移表征。它基于这个假设：为了有效迁移，良好的表征应该为主要学习任务提供辨判别力，并且在源域和目标域之间不可区分
一般实际当中经常使用上述的几种方法混合使用