论文浅尝 | LoRA: 大模型的低秩适配

笔记整理：陈一林，东南大学硕士，研究方向为不确定知识图谱规则学习

链接：https://arxiv.org/abs/2106.09685

1、动机

自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练，然后对特定任务或领域进行适应性调整。随着我们预训练更大的模型，全量微调，即重新训练所有模型参数，变得不太可行。以GPT-3 175B为例 - 部署独立的微调模型实例，每个模型有175B个参数，成本过高。我们提出了低秩适应（Low-Rank Adaptation），简称LoRA，它冻结了预训练模型的权重，并将可训练的秩分解矩阵注入Transformer架构的每一层，大大减少了用于下游任务的可训练参数数量。与使用Adam微调的GPT-3 175B相比，LoRA可以将可训练参数的数量减少10,000倍，并将GPU内存需求减少3倍。LoRA在RoBERTa、DeBERTa、GPT-2和GPT-3的模型质量上表现与微调相媲美甚至更好，尽管可训练参数更少，训练吞吐量更高，并且与Adapter不同，没有额外的推理延迟。本文还提供了关于语言模型适应中秩亏损的实证研究，这些研究有助于阐明LoRA的有效性。

2、特性

一个预训练模型可以用来构建许多LoRA模