LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning

本文是LLM系列文章，针对《LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning》的翻译。

摘要

自大型语言模型（LLM）首次出现以来，机器学习社区已经取得了令人印象深刻的进步。然而，他们的大量内存消耗已经成为大规模训练的一个重要障碍。例如，7B模型通常需要至少60GB的GPU内存和全参数训练，这给无法访问高资源环境的研究人员带来了挑战。已经提出了诸如低秩自适应（LoRA）之类的参数有效微调技术来缓解这个问题。然而，在大多数大规模微调设置中，它们的性能没有达到全参数训练的水平，因为它们将参数搜索限制在低秩子空间。为了弥补这一不足，我们研究了LoRA在微调任务中的分层性质，并观察到不同层之间权重规范的意外但一致的偏斜度。利用这一关键观察结果，发现了一种令人惊讶的简单训练策略，它在各种设置中都优于LoRA和全参数训练，内存成本低至LoRA。我们将其命名为分层重要性采样AdamW（LISA），这是LoRA的一个很有前途的替代方案，它将重要性采样的思想应用于LLM中的不同层，并在优化过程中随机冻结大多数中间层。实验结果表明，在GPU内存消耗相似或更少的情况下，LISA在下游微调任务中超过了LoRA，甚至超过了全参数调优，其中LISA在MT Bench得分方面始终优于LoRA超过10%-35%，同时在MMLU、AGIEval和WinoGrande中实现了同等或更好的性能。在大型模型上，特别是LLaMA-2-70B，LISA在MT Bench、GSM8K和PubMedQA上超过了LoRA，证明了其在不同领域的有效性。