《论文阅读》LORA：大型语言模型的低秩自适应 2021

前言

今天为大家带来的是《LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS》

---

出版：

时间：2021年10月16日

类型：大语言模型的微调方法

关键词：

作者：Edward Hu, Yelong Shen 等

第一作者机构：Microsoft Corporation

github：https://github.com/microsoft/LoRA

简介

为了降低现有模型在下游任务上的计算成本和时间成本，本文提出一种利用低秩的矩阵的方法，将高维空间映射到低维空间，在减小成本的同时不损失模型表现，下图为常见大语言预训练模型在下游任务上的实现机制，通常一个任务有多少个不同的数据集就需要保留多少个备份模型，这样是非常不划算的。因此本文提出了低秩自适应 (Low-Rank Adaptation, LoRA)，它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到 Transformer 架构的每一层，极大地减少了下游任务的可训练参数的数量，有效提升预训练模型在下游任务上的 finetune 效率

现有方法