QLoRA：一种高效LLMs微调方法，48G内存可调65B 模型，调优模型Guanaco 堪比Chatgpt的99.3%！

引言

本文是华盛顿大学刚刚发布的一篇文章。作者提出了QLoRA，它是一种「高效的微调方法」，可以在保持完整的16位微调任务性能的情况下，将内存使用降低到足以「在单个48GB GPU上微调650亿参数模型」。QLORA通过冻结的4位量化预训练语言模型向低秩适配器(LoRA)反向传播梯度。作者公布了他们训练的系列模型Guanaco，与之前公开发布的所有模型相比，在Vicuna基准测试中表现更好，「只需要在单个GPU上微调24小时就能达到ChatGPT性能水平的99.3%」 。

Paper：https://arxiv.org/pdf/2305.14314.pdf

Code：https://github.com/artidoro/qlora

案例：