深度学习之迁移学习

1. 什么是迁移学习

迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

找到目标问题的相似性，迁移学习任务就是从相似性出发，将旧领域(domain)学习过的模型应用在新领域上。

2. 为什么需要迁移学习？

1. 大数据与少标注的矛盾：虽然有大量的数据，但往往都是没有标注的，无法训练机器学习模型。人工进行数据标定太耗时。
2. 大数据与弱计算的矛盾：普通人无法拥有庞大的数据量与计算资源。因此需要借助于模型的迁移。
3. 普适化模型与个性化需求的矛盾：即使是在同一个任务上，一个模型也往往难以满足每个人的个性化需求，比如特定的隐私设置。这就需要在不同人之间做模型的适配。
4. 特定应用(如冷启动)的需求。

3. 迁移学习的基本问题有哪些？

基本问题主要有3个：

• How to transfer： 如何进行迁移学习？(设计迁移方法)
• What to transfer： 给定一个目标领域，如何找到相对应的源领域，然后进行迁移？(源领域选择)
• When to transfer： 什么时候可以进行迁移，什么时候不可以？(避免负迁移)

4. 迁移学习有哪些常用概念？

• 基本定义

  • 域(Domain)：数据特征和特征分布组成，是学习的主体
    • 源域 (Source domain)：已有知识的域
    • 目标域 (Target domain)：要进行学习的域
  • 任务 (Task)：由目标函数和学习结果组成，是学习的结果

• 按特征空间分类

  • 同构迁移学习(Homogeneous TL)： 源域和目标域的特征空间相同，