LoRA 及其衍生技术详解

LoRA 形形色色，种类繁多。图片由 Lucas George Wendt 在 Unsplash 上提供。

低秩自适应（Low-Rank Adaptation，LoRA）可以被视为在针对特定任务高效训练大语言模型方面的重大突破。近年来，这项技术在诸多应用领域获得了广泛认可，并促进了学术界对如何优化其核心技术路线的持续探索，以期进一步提升模型性能或加快模型训练速度。

在本文中，我打算概要介绍一些 LoRA 的不同形式，它们有望以不同的方式增强 LoRA 的能力。我将首先介绍原始 LoRA 技术的基本概念，然后介绍 LoRA+、VeRA、LoRA-FA、LoRA-drop、AdaLoRA、DoRA 和 Delta-LoRA。我将介绍每种方法的基本概念和主要思想，并展示这些方法与原始 LoRA 技术的不同之处。除非对于讲解某项技术的基本概念来说比较重要，否则我会避免涉及技术细节，并且也不会详细讨论这些技术的相关评估问题。对此感兴趣的读者，可通过阅读文末提供的参考文献深入了解。

01 LoRA

LoRA 的主要思想是在预训练的权重矩阵 W 旁边添加两个较小的可调整矩阵 A 和 B，而不更改 W 的参数。图片来自 [1]。

低秩自适应