迁移学习（Transfer learning）相关名词解释

摘录总结自：请问具体什么是迁移学习？ - 知乎

迁移学习

概念：从广义上讲，利用已有的知识、模型、结构来帮助我们达成在目标数据上的学习目标。因此，迁移学习可以细分为很多不同的研究子领域。

文献：Sinno Pan and Qiang Yang, A survey on transfer learning. IEEE TNN 2010

迁移学习的第一大范式：Pre-train and fine-tune（预训练-微调）

是迁移学习最重要的表现形式，指的是在源领域训练好一个网络，直接将其用于目标域的数据，并在目标域数据上进行微调。如：基于Bert的微调。利用pre-trained model，可以省去大量的训练时间。

文献：Yosinsk et al., How transerable are features in neural networks. NIPS 2014.

迁移学习的第二大范式：Domain adaptation（领域自适应、域自适应、域适应、域适配）

简称DA，是迁移学习最热门的研究方向，产出论文最多、积累最丰富。在DA问题中，我们可以访问源域和目标域，目标域通常没有标签（无监督DA）或很少的标签（半监督DA）。核心是减小两个域的分布差异，从而给目标域的数据全部打上标签。例如：如下四个域&