迁移学习综述：A Survey on Transfer Learning（部分知识点整理及扩展）

0 与传统机器学习区别

1 迁移学习概念
利用数据、任务、或模型之间的相似性，将在旧领域学习过的知识，应用于新领域的一种学习过程。

2 相似性与度量
相似性：找到新问题和原问题之间的相似性是迁移学习的核心，无相似不迁移。
度量：重要手段
"度量"目标一：是很好地度量两个领域的相似性，不仅定性地告诉我们它们是否相似，更定量地给出相似程度。
"度量"目标二：以度量为准则，通过我们所要采用的学习手段，增大两个领域之间的相似性，从而完成迁移学习。

3 迁移学习的必要性

4 迁移学习定义与相关符号描述
公式比较难打，上手写笔记(尽管字迹不咋地，看看还是能够的，争取后面写的耐看些)。

5 迁移学习分类
5.1.基于源/目标域，源/目标学习任务的不同情况。
5.2.迁移学习研究的主要问题：what（内容）/how（算法）/when（是否应该） to transfer？
基于“what to transfer”分类
5.21 基于实例的迁移学习（数据层面）
重新对源域中的一些数据进行重加权，以便在目标域中使用。
5.22 基于特征表示的迁移学习（特征层面）
基于特征的迁移方法：是指将通过特征变换的方式互相迁移 ，减少源域和目标域之间的差距；或者将源域和目标域的数据特征变换到统一特征空间中。
5.23 基于参数的迁移学习（模型参数层面）
从源域和目标域中找到他们之间共享的参数和先验知识。
5.24 基于关系的知识迁移（关系层面）
在源域和目标域建立相关的知识映射，两个域是相关域（研究较少）。

6 深度迁移学习：神经网络深度自适应
6.1 深度网络可迁移性
浅层：通用特征
深层：偏向于特定特征
中间：中间几层的特征变换存在很强的依赖性（脆弱的耦合特征）
协同学习，拆开效果不好；
通用特征到专用特征变换的关键位置。
（迁移位置的选择很关键）
6.2关键性（理解这里非常非常重要）

**基本准则：**决定自适应层，然后在这些层加入自适应度量，最后对网络进行 finetune。

7 迁移学习 VS 网络自适应
领域自适应问题是迁移学习的研究内容之一，它侧重于解决特征空间一致、类别空间一致，仅特征分布不一致的问题。而迁移学习也可以解决上述内容不一致的情况。

8 绝大多数内容来自

1. Pan, S. J. and Yang, Q. (2010). A survey on transfer learning. IEEE TKDE, 22(10):1345–1359.
2. 王晋东老师：迁移学习简明手册

我只是知识的搬运工，外加一丢丢小理解！！！