LoRA综述来了! 浙大《大语言模型的LoRA研究》综述

低秩适应（Low-Rank Adaptation，LoRA）通过可插拔的低秩矩阵更新密集神经网络层，是当前参数高效微调范式中表现最佳的方法之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，LoRA 最近受到了广泛关注，相关文献的数量呈指数增长。对LoRA的当前进展进行全面综述是必要的。本综述从以下几个方面分类并回顾了LoRA的进展：（1）改进LoRA在下游任务性能的变体；（2）通过混合多种LoRA插件实现跨任务泛化的方法；（3）提高LoRA计算效率的方法；（4）在联邦学习中使用LoRA的数据隐私保护方法；（5）应用。此外，本综述还讨论了该领域的未来研究方向。

https://arxiv.org/abs/2407.11046

预训练语言模型参数规模的迅速增加提升了它们的泛化能力，并带来了新的能力。近年来，预训练语言模型的参数规模增加了数千倍（例如，从具有3.3亿参数的BERT[1]到具有5400亿参数的PaLM[2]）。这些具有大参数规模的预训练语言模型被称为大语言模型（LLMs）。然而，由于LLMs的知识边界，它们在某些下游任务中的能力仍然有限。为了扩展知识边界&