迁移学习概念、优点、策略

一、 迁移学习的概念

迁移学习(Transfer learning) 顾名思义就是把已训练好的模型（预训练模型）参数迁移到新的模型来帮助新模型训练。
迁移学习是一种思想，而不是一种方法。具体而言是将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。
根据问题不同、领域之间的数据分布假设不同，会有不同的方法。

二、 迁移学习的好处

1、更高的起点：在微调之前，模型的初始性能更高；
2、更高的斜率：训练过程中，模型提升的速率更快；
3、更高的渐进：训练结束后，得到的模型收敛更好。

三、 迁移学习的手段

实现迁移学习有以下三种手段：
1、Transfer Learning：冻结预训练模型的全部卷积层，只训练自己定制的全连接层。
2、Extract Feature Vector：先计算出预训练模型的卷积层对所有训练和测试数据的特征向量，然后抛开预训练模型，只训练自己定制的简配版全连接网络。
3、Fine-tuning：冻结预训练模型的部分卷积层（通常是靠近输入的多数卷积层，因为这些层保留了大量底层信息）甚至不冻结任何网络层，训练剩下的卷积层（通常是靠近输出的部分卷积层）和全连接层。

参考：（1）https://www.zhihu.com/question/345745588/answer/826649936 ID：Chuang
（2）https://www.zhihu.com/question/345745588 ID：溪亭日暮