大模型学习笔记 - LLM 参数高效微调技术

LLM 参数高效微调技术

• LLM 高效微调技术
  • Adapter Tuning (2019 google,在Transformer 结构中嵌入adapter,tuning on BERT)
  • Prefix Tuning (2021.01 斯坦福，通过virtual token构造连续型隐式prompt)
  • Prompt Tuning（2021.04，google）
  • P-Tuning V1/V2 (清华，2021.03)
  • P-Tuning V2 (2022,)
  • LoRA(2021)
  • QLoRA (2023.05)
  • 其他：

参数高效微调是指冻结LLM的大部分模型参数，微调少量的或者额外新增的模型参数。目前高效微调技术主要由：Prefix Tuning、P-Tuning V1/V2、LoRA、QLoRA.

微调技术的发展：

adapter tuning -> prefix tuning ->P-Tuning v1/v2 -> LoRA -> QLoRA.

Adapter Tuning (2019 google,在Transformer 结构中嵌入adapter,tuning on BERT)

• Parameter-Efficient Transfer Learning for NLP
• 谷歌的研究人员于2019年在论文《Parameter-Efficient Transfer Learning for NLP》提出针对 BERT 的 PEFT 微调方式，拉开了 PEFT 研究的序幕。他们指出:在面对特定的下游任务时，如果进行 Full-fintuning（即预训练模型中的所有参数都进行微调），太过低效, 而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的效果. 于是设计了如下结构：

• 如上图左侧所示，将其嵌入 Transformer 的结构里面，在训练时，固定住原来预训练模型的参数不变，只对新增的 Adapter 结构进行微调
• 如上图右侧所示，同时为了保证训练的高效性（也就是尽可能少的引入更多参数），他们将 Adapt