LoRA系列概览

LoRA系列概览

LoRA（Low-Rank Adaptation，低秩适应）技术是现代训练大型语言模型（LLMs）的重要突破之一，能够高效地针对特定任务训练模型。本文旨在介绍LoRA的几种变体，包括LoRA+、VeRA、LoRA-FA、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA，这些变体以不同方式提升LoRA的能力，旨在提高性能或加快训练速度。

LoRA基本概念

LoRA通过在预训练的权重矩阵旁增加两个较小的可调矩阵A和B，而不改变W的参数，提供了一种训练模型的替代方法，大幅减少了参数数量。A和B称为适配器，大小远小于W，使得训练过程更快、更简单。

LoRA变体

1. LoRA+：通过为A和B矩阵设置不同的学习率，提高训练效率，实验显示能在保持模型准确度的同时加快训练速度。
2. VeRA（Vector-based Random Matrix Adaptation）：通过将A和B初始化为共享的随机权重，并训练新的向量d和b，大幅减少参数数量。
3. LoRA-FA（LoRA with Frozen-A）：冻结A矩阵，仅训练B矩阵，减半参数数量同时保持性能。
4. LoRA-drop：根据B*A的输出决定哪些LoRA层值得训练，减少必要的训练参数。
5. AdaLoRA（Adaptive LoRa）：动态调整LoRA矩阵的秩，针对模型性能贡献更大的层提供更高的秩。
6. DoRA（Weight-Decomposed Low-Rank Adaptation）：将LoRA适配器分解为独立训练的幅度和方向两部分，提高训练质量。
7. Delta-LoRA：通过A*B的梯度更新预训练矩阵W，增加训练参数而几乎不增加计算开销。

总结

LoRA及其变体展示了通过创新方法减少计算时间或提高性能（或两者兼得）的可能性。这些技术在训练大型语言模型方面提供了新的思路和方法，预示着在性能改进或计算效率方面的进一步突破。

参考文献

• LoRA及其变体的详细介绍和评估可以在原始论文中找到，为感兴趣的读者提供了进一步的阅读材料。