大模型微调算法汇总

简介

Parameter-Efficient Fine-Tuning (PEFT) 技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能。一般新场景的业务，需要微调大模型。不需要从0训练。

SFT

全监督微调。所有参数训一下
https://blog.csdn.net/yang_daxia/article/details/139510917

Lora

https://blog.csdn.net/yang_daxia/article/details/139257706

QLora

4bit量化+LoRA训练。
QLoRA: 4bit量化+LoRA训练=瞬间起飞 - LokLok的文章 - 知乎
https://zhuanlan.zhihu.com/p/634256206

Freeze微调

冻结浅层，只微调transformer的几个fc层。

P-Tuning和P-Tuning v2

在prompt上加入虚拟token来解决实际prompt的多样性问题，虚拟token通过lstm+mlp编码。只微调输入层即可。v2则每一层都加了

参考

大模型微调（finetune）方法总结-LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning - YBH的文章 - 知乎
https://zhuanlan.zhihu.com/p/636481171

大模型微调总结 - 绝密伏击的文章 - 知乎
https://zhuanlan.zhihu.com/p/627642632
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 - 汀丶人工智能技术的文章 - 知乎
https://zhuanlan.zhihu.com/p/643941480