深度学习的Fine-tuning相关概念分析：微调 迁移学习 蒸馏学习 元学习

深度学习的Fine-tuning相关概念分析：微调 迁移学习 蒸馏学习 元学习

这里的相关概念都是基于已有预训练模型，就是模型本身已经训练好，有一定泛化能力。需要“再加工”满足别的任务需求。

当下GPT语言模型逐步流行，对模型的Fine-tuning也将成为趋势，借此机会，我来分析下相关概念。

1.Fine-tuning (微调)

有些人认为微调和训练没有区别，都是训练模型，但是微调是在原模型训练好的的基础上，做针对性的再训练。微调一般用额外的数据集，降低学习率让模型适应特定任务。

2.Transfer Learning (迁移学习)

迁移学习大意是让模型适应新的任务，这涉及模型的改进和再训练。可以把微调看作是迁移学习的一种。

相比微调，迁移学习很多时候并不需要训练原有模型，可以只训练一部分，或者给模型加1-2层后，用元模型的输出作为迁移学习的输入，训练额外添加部分即可。

3.Knowledge Distillation (知识蒸馏)

KD目标是用一个小模型去学习大模型的能力，在保证基线性能的前提下，降低模型的参数和复杂度。

4.Meta Learning (元学习)

Learning to Learning，就是学会学习，这个概念并不需要预训练模型。元学习是指模型学习各类任务数据，然后学会各类任务的共性，从而适应新的任务。