我的“迁移学习Transfer Learning”学习

    在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设 training 和 inference 时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（feature space）。但在现实应用中，这个假设很难成立，往往遇到一些问题：

    1、带标记的训练样本数量有限。比如，处理 A 领域（target domain）的分类问题时，缺少足够的训练样本。同时，与 A 领域相关的 B（source domain）领域，拥有大量的训练样本，但 B 领域与 A 领域处于不同的特征空间或样本服从不同的分布。

    2、数据分布会发生变化。数据分布与时间、地点或其他动态因素相关，随着动态因素的变化，数据分布会发生变化，以前收集的数据已经过时，需要重新收集数据，重建模型。

    这时，知识迁移（knowledge transfer）是一个不错的选择，即把 B 领域中的知识迁移到 A 领域中来，提高 A 领域分类效果，不需要花大量时间去标注 A 领域数据。迁移学习，做为一种新的学习范式，被提出用于解决这个问题。

学习的目的：
1.深入了解神经网络的组成、训练和实现，掌握深度空间特征分布等关键概念；
2.掌握迁移学习的思想与基本形式，了解传统迁移学习的基本方法，对比各种方法的优缺点；
3.握深度迁移学习的思想与组成模块，学习深度迁移学习的各种方法；
4.掌握深度迁移学习的网络结构设计、目标函数设计的前沿方法，了解迁移学习在PDA、Source-Free DA上的应用