迁移学习与微调的区别

一、迁移学习：

1、从字面意义上理解是知识转移的学习方法，指一种学习方法；类比机器学习、深度学习等等概念；
2、把已训练好的模型参数迁移到新的模型来帮助新模型训练

二、微调：

1、从字面意义上理解是小小的调整；指的是一种实现技术或者工具
2、对训练好的模型的参数进行小小的调整；

三、迁移学习与微调的关系

在迁移学习过程中，直接拿来在新场景中使用，取得更优的效果，是需要作相应的处理，而微调是实现迁移学习中的一种工具；处理主要分为两类：

1、Extract Feature Vector：bert论文中(亦称feature-based)先计算出预训练模型对所有训练和测试数据的特征向量，然后抛开预训练模型，然后基于已经提取出来的特征向量设计新的分类模型
2、fine-tune:对预训练模型作些小小的调整；预训练模型可以作为新场景下的训练初始参数，也可以冻结部分层，其他参数可以在训练中进行改变；也可以为预训练模型增加一个全连接层，在训练过程中，仅仅更新新层参数