浙大：LLM的LoRA应用综述

📖标题：A Survey on LoRA of Large Language Models
🌐来源：arXiv, 2407.11046

🛎️文章简介

主要介绍了LoRA（Low-Rank Adaptation）在大语言模型（LLM）中的应用和相关研究进展，从多个方面对LoRA进行了系统的回顾和分析，包括下游适应性改善、跨任务泛化、效率提升、联邦学习和应用场景等。

📝重点思路

🔺理论分析

🔸LoRA通过低秩分解，将全参优化拆分为两个小矩阵，减少了模型内存、激活内存、梯度内存和优化器内存的需求。
🔸目前有多角度分析LoRA为何有效，包括内核分析、表达能力和局部最优等。
🔸LoRA还可以应用于其他学习范式，包括在预训练和继续训练的灾难性遗忘、长上下文等。

🔺下游适配

🔸低秩更新使LoRA具有参数效率，但需要打破对下游知识和能力的限制。
🔸LoRAd秩并非越高越好，需要结合场景动态调整。
🔸LoRA的收敛速度比完全微调慢，还对超参数敏感，需要优化自适应能力。
🔸LoRA与其他学习范式兼容，例如贝叶斯学习、上下文学习和主动学习。

🔺跨任务

🔸早期将不同的LoRA插件与手动设计的权重线性组合，但经常无法找到最佳权重。
🔸随后在任务级别、实例级别和令牌级别，实现更精确和自适应的组合。
🔸LoRA还可以结合MoE，已被证明在许多任务中都是有效的。

🔺效率提升

🔸参数缩减等角度提高LoRA的计算效率，包括冻结、剪枝和共享等。
🔸参数量化减少位宽，包括基于训练后量化和基于量化感知训练。
🔸通过并行微调和并行推理，充分利用集群资源。

🔺联邦学习

🔸数据异构性，缓解跨客户端数据分布的差异。
🔸设备异构性，缓解客户端在硬件能力和网络连接方面的差异。
🔸模型异构性，缓解客户之间模型结构的差异。
🔸参数隐私，保护客户特定的参数及数据。

附录