中科大：LoRA中引入等效梯度优化LLM训练

📖标题：LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
🌐来源：arXiv, 2407.18242

🛎️文章简介

🔸研究问题：使用LoRA对大语言模型（LLM）优化过程中，未能很好地近似全参微调。
🔸主要贡献：论文提出了LoRA-Pro方法，通过引入等效梯度的闭合解来优化LoRA，从而缩小与全参微调的性能差距。

📝重点思路

🔺相关工作

🔸PEFT：参数高效微调，旨在通过仅调整一小部分模型参数来降低微调成本，分为适配器调优（如LoRA）和提示调优（如p-tuning）。
🔸LoRA：假设预训练模型的权重变化表现出低秩结构，提出基于低秩近似的参数高效微调。

🔺论文方案

🔸回顾了LoRA的基本原理，即通过低秩矩阵分解来重参数化变化矩阵。
🔸从优化角度比较了LoRA和全参微调的差异，指出LoRA在优化过程中的问题：能否用分解后两个矩阵的梯度更新，替代原始矩阵更新。
🔸提出了LoRA-Pro方法：通过引入等效梯度的闭合解来优化LoRA，确保最佳近似全参微调梯度的效果。
🔸具体实施时，在标准LoRA的反向传播过程中，使用闭合解调整矩阵A和B的梯度。

🔎分析总结

🔸在T5模型上对GLUE数据集的子集进行微调实验，结果显示LoRA-Pro在5个数据集中有3个取得了最高分，并且在所有5个数据集上的平均分也是最高的。
🔸平均来看，LoRA-Pro比标准LoRA提高了6.72分，验证了LoRA-Pro方法的有效性。

💡个人观点

论文通过引入等效梯度的闭合解来优化LoRA，使其更接近全参微调的效果。

附录