ResLoRA: Identity Residual Mapping in Low-Rank Adaption

本文是LLM系列文章，针对《ResLoRA: Identity Residual Mapping in Low-Rank Adaption》的翻译。

摘要

作为最流行的参数高效微调（PEFT）方法之一，低秩自适应（LoRA）通常用于微调大型语言模型（LLM）。然而，由于原始模型中的计算路径较长，有效快速地更新LoRA块的权重具有挑战性。为了解决这个问题，我们提出了ResLoRA，这是LoRA的一个改进框架。通过在训练过程中添加残差路径，并在推理过程中使用合并方法消除这些额外路径，与LoRA相比，我们的方法可以在更少的训练步骤中获得更好的结果，而不需要任何额外的可训练参数或推理成本。在NLG、NLU和文本到图像任务上的实验证明了我们方法的有效性。据我们所知，ResLoRA是第一个将残差路径与LoRA相结合的工作。我们的方法代码在https://github.com/microsoft/LMOps/tree/main/reslora可用。

1 引言

2 相关工作

3 方法

4 实验