迁移学习综述

A Survey on Deep Transfer Learning

阅读日期：2021.8.29

Doi：10.1007/978-3-030-01424-7_27

文章简介：介绍了2018年以前的深度迁移学习的主要进展，以及迁移学习的主要分类

• 深度学习的缺点

  • 依赖大量数据，往往模型越大，需要的数据也越多，成本也就越高
  • 需要训练数据和预测数据满足来自同一个总体的假设，

• 深度迁移学习的定义：

  • 给定任务$T_t$和数据$D_t$，利用从数据$D_s$​和 任务$T_s$中学到的知识，提高任务$T_t$的预测函数 $f_T(\cdot )$的预测性能

• 深度迁移学习的分类：

  • 基于样本加权（Instances-based）

    • 利用不同方法，从source domain中找到与target domain相似的数据，并利用样本加权的方式，将两者合并训练，从而提高模型性能
    • 
    • 应用：
      • TrAdaBoost
      • Bi-weighting domain adaptation (BIW)

  • 基于样本空间变换（Mapping-Based）

    • 将source domain和target domain中的数据映射到另一个共同空间，然后进行模型训练
    • 
    • 应用
      • Transfer component analysis (TCA)
      • Deep domain confusion：给损失函数加上适应层和一个域自适应损失

  • 基于网络结构（Network-Based Deep）

    • 通过共享神经网络参数的方式，利用source domain中学习的模型参数，提高target domain的精度
    • 

  • 基于对抗样本生成（Adversarial-Based）

    • 训练一个生成器generator,用于从source domain中提取特征，判别器discriminator尽量区分target domain中提取的特征和生成的特征，从而将source domain中的数据转化成可以利用的特征。
    • 参考：GAN万字长文综述 - 知乎 (zhihu.com)
    •