简介
Parameter-Efficient Fine-Tuning (PEFT) 技术旨在通过最小化微调参数的数量和计算复杂度,来提高预训练模型在新任务上的性能。一般新场景的业务,需要微调大模型。不需要从0训练。
SFT
全监督微调。所有参数训一下
https://blog.csdn.net/yang_daxia/article/details/139510917
Lora
https://blog.csdn.net/yang_daxia/article/details/139257706
QLora
4bit量化+LoRA训练。
QLoRA: 4bit量化+LoRA训练=瞬间起飞 - LokLok的文章 - 知乎
https://zhuanlan.zhihu.com/p/634256206
Freeze微调
冻结浅层,只微调transformer的几个fc层。
P-Tuning和P-Tuning v2
在prompt上加入虚拟token来解决实际prompt的多样性问题,虚拟token通过lstm+mlp编码。只微调输入层即可。v2则每一层都加了
参考
大模型微调(finetune)方法总结-LoRA,Adapter,Prefix-tuning,P-tuning,Prompt-tuning - YBH的文章 - 知乎
https://zhuanlan.zhihu.com/p/636481171
大模型微调总结 - 绝密伏击的文章 - 知乎
https://zhuanlan.zhihu.com/p/627642632
人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 - 汀丶人工智能技术的文章 - 知乎
https://zhuanlan.zhihu.com/p/643941480