如何利用预训练模型进行模型微调（如冻结某些层，不同层设置不同学习率等）

由于预训练模型权重和我们要训练的数据集存在一定的差异，且需要训练的数据集有大有小，所以进行模型微调、设置不同学习率就变得比较重要，下面主要分四种情况进行讨论，错误之处或者不足之处还请大佬们指正。
（1）待训练数据集较小，与预训练模型数据集相似度较高时。例如待训练数据集中数据存在于预训练模型中时，不需要重新训练模型，只需要修改最后一层输出层即可。
（2）待训练数据集较小，与预训练模型数据集相似度较小时。可以冻结模型的前k层，重新模型的后n-k层。冻结模型的前k层，用于弥补数据集较小的问题。
（3）待训练数据集较大，与预训练模型数据集相似度较大时。采用预训练模型会非常有效，保持模型结构不变和初始权重不变，对模型重新训练
（4）待训练数据集较大，与预训练模型数据集相似度较小时。采用预训练模型不会有太大的效果，可以使用预训练模型或者不使用预训练模型，然后进行重新训练。