迁移学习（Transfer Learning）

1. 什么是迁移学习？

迁移学习是一种机器学习技术，其核心思想是将从一个任务（通常是数据丰富的大规模任务）中学到的知识或模型，应用到另一个相关但数据较少的新任务上，以提高学习效率和性能。它特别适用于数据稀缺或标注成本高昂的场景。

定义

迁移学习的核心在于知识迁移。假设我们有两个任务：

• 源任务（Source Task）：通常有大量标注数据，模型在这个任务上已经训练得很好。
• 目标任务（Target Task）：数据量较少或任务较为特殊，需要利用源任务的知识来提升性能。

迁移学习的目标是通过在源任务上学习到的特征、权重或模型，加速目标任务的训练或提升其性能。

为什么需要迁移学习？

在传统的机器学习中，每个任务通常需要从头训练一个模型，这要求：

1. 大量标注数据（标注成本高）。
2. 强大的计算资源（训练时间长）。
3. 针对每个任务设计特定的模型（开发成本高）。

但在现实世界中，很多任务的数据量不足以支持从头训练一个深度模型。例如：

• 医疗图像分类：标注的医学图像数据非常少。
• 特定领域的语音识别：某些方言或语言的数据稀缺。
• 小型企业的个性化推荐系统：用户数据有限。

迁移学习通过复用已有的模型或知识，解决了这些问题，显著降低了数据和计算需求。

---

2. 迁移学习的理论基础

迁移学习的理论基础可以从以下几个方面理解：

2.1 源域和目标域

迁移学习涉及两个域：

• 源域（Source Domain, ${\mathcal{D}}_s$）：包含大量数据和已训练好的模型，数据分布为 $P_s(X,Y)$。
• 目标域（Target Domain, ${\mathcal{D}}_t$）：数据较少，数据分布为 $P_t(X,Y)$。

迁移学习的目标是利用源域的知识来提升目标域任务的性能。通常，源域和目标域的数据分布不同（即 $P_s\ne P_t$），这引入了**域偏移（Domain Shift）**问题。

2.2 任务和模型

• 源任务（Source Task, $\mathcal{T}$