LoRA 和 QLoRA：大模型的轻量级高效微调方法

1. 模型微调的两种方式

模型微调的本质就是改变模型参数，假设原始模型的参数是 $W_0$，微调后的参数是 $W_1$，二者之间必然存在一个关系：$W_0+△W=W_1$，所以模型微调就会有两种方式：

• 全量微调：直接从 $W_0$ 微调到 $W_1$，但对于大模型来说，全量微调很困难，费时费力费钱。
• 高效微调 (Parameter Efficient Fine Tuning，PEFT)：直接训练一个包含有效信息的参数矩阵 $△W$，可以通过各种方式使得 $△W$ 得参数量远小于 $W_0$，从而降低微调开销。

2. LoRA

paper：LoRA: Low-Rank Adaptation of Large Language Models 《大语言模型的低秩自适应微调》

code：https://github.com/microsoft/LoRA

LoRA是一种轻量化且效果非常突出的大模型微调方法，与使用Adam微调的GPT-3 175B相比，LoRA可以将可训练参数的数量减少10000倍，并将GPU内存需求减少3倍。LoRA 是一种高效微调方法，它只需要训练低秩矩阵即可，而不需要直接微调 $W_0$，示意图：

        

任何一个矩阵都可以写成两个矩阵相乘的形式，因此 $△W=B\ast A$。定义 $W_0\in R^{d\ast k}$，$△W\in R^{d\ast k}$，$B\in R^{d\ast r}$，$A\in R^{r\ast k}$，其中 $r\ll min(d,k)$，所以相比于 $W_0$ 和 $△W$，矩阵 $A$ 和 $B$ 是低秩的，这就是 LoRA 名字的由来。

LoRA 的思路很简单：

• 微调时不改变预训练模型的参数$W_0$，只是给预训练模型加一个支路（类似于ResNet），先降维再升维。
• 用随机高斯分布初始化降维矩阵$A$ ，用 0 矩阵初始化升维矩阵$B$，保证训练的开始支路矩阵是 0 矩阵。
• 训练的时候固定模型参数$W_0$，只训练矩阵 $A$ 和 $B$，得到 $△W=B\ast A$，微调后模型的参数为 $W_1=W_0+△W$

对于模型输入 $x$，微调后的输出 $h$ 为 $h=W_{0}x+△Wx=W_{0}x+BAx$

LoRA 与 Transformer 的结合也很简单，仅在 QKV Attention 的计算中增加一个旁路。

实验结果显示，对于一般的任务， $r=1,2,4,8$ 就足够了（Low-Rank）。而一些领域差距比较大的任务可能需要更大的 $r$。同时，增加 $r$ 值变大并不能提升微调的效果，这可能是因为参数量增加需要更多的语料。

考虑 OpenAI 对 GPT 模型的认知，GPT 的本质是对训练数据的有效压缩，从而发现数据内部的逻辑与联系，LoRA 的思想与之有相通之处，原模型虽大，但起核心作用的参数是低秩的，通过增加旁路，达到四两拨千斤的效果。

参考资料：

• 博客：LORA：大模型轻量级微调
• 视频：通俗易懂理解全量微调和LoRA微调
  

3. QLoRA

paper：QLoRA: Efficient Finetuning of Quantized LLMs《量化LLM的有效微调》

code：https://github.com/artidoro/qlora

背景：尽管 LoRA 已经轻量化了，但由于使用 BF16 进行训练，微调特别大的模型（65B以上）时无法使用单张卡或几张卡进行训练。

QLORA是 LoRA 的改进版，可以减少内存使用，可以在单个48GB GPU上微调 65B 的大模型，同时保留完整的16位微调任务性能。其工作原理是首先将 LLM 进行4位量化，从而显著减少模型的内存占用；然后使用 LoRA 对量化的LLM进行微调。

使用 QLoRA可以节省 33% 的GPU内存。然而，由于 QLoRA 中预训练模型权重的额外量化和去量化，训练时间增加了39%。

QLoRA代码介绍：QLoRA：量化LLM的高效微调策略与实践