QLoRA论文概述

最新推荐文章于 2025-03-21 20:29:42 发布
最新推荐文章于 2025-03-21 20:29:42 发布
阅读量1.4k 收藏 21
点赞数 24
文章标签： 人工智能 LoRA QLora 大模型 微调 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq128252/article/details/134884456
版权

QLORA: Efficient Finetuning of Quantized LLMs

QLoRA论文概述

前言（省流版本）

微调需要大量显存资源。

之前工作的量化大都是在推理而非训练。

实验中发现数据的质量比数量重要。

评估采用人类和GPT-4相结合。

提出了三个技术方案实现单个GPU微调65B模型，达到和16位微调任务相同的性能

  • 4-bit NormalFloat（NF4）量化：QLORA使用一种新的数据类型NF4，它在信息理论上最适合正态分布的权重，并在实践中优于4-bit整数和4-bit浮点数。
  • 双量化：QLORA采用双量化方法，对量化常数进行第二次量化，从而减少每个参数的内存占用。
  • 分页优化器：QLORA引入了分页优化器，在梯度检查点时防止内存溢出错误。这个方法使用NVIDIA统一内存特性，在CPU和GPU之间自动进行页面到页面的传输，以便在GPU内存不足时进行无错误的GPU处理。优化器状态分配分页内存，然后在GPU运行内存不足时自动逐出到CPU RAM，并在优化器更新步骤中重新分页到GPU内存。

摘要

我们提出了QLORA，这是一种有效的微调方法，它减少了内存使用，足以在单个48GB GPU上微调65B参数模型，同时保留完整的16位微调任务性能。

QLORA通过冻结的4位量化预训练语言模型将梯度反向传播到低秩适配器(Low Rank Adapters, LoRA)。我们最好的模型家族，我们命名为Guanaco，在Vicuna基准上优于之前所有公开发布的模型，达到ChatGPT性能水平的99.3%，而只需要在单个GPU上进行24小时的微调。

QLORA引入了许多创新来节省内存而不牺牲性能:(a) 4位NormalFloat (NF4)，这是一种新的数据类型，理论上对正态分布权重是最优的;(b)双量化，通过量化量化常量来减少平均内存占用;©分页优化器来管理内存峰值。

我们使用QLORA对1000多个模型进行了微调，提供了8个指令数据集、多种模型类型(LLaMA、T5)和常规微调无法运行的模型规模(例如33B和65B参数模型)上的指令跟随和聊天机器人性能的详细分析。

我们的结果表明，即使使用比以前的SoTA更小的模型，在小的高质量数据集上进行QLoRA微调也可以得到最先进的结果。我们提供了基于人类和GPT-4评估的聊天机器人性能的详细分析，表明GPT-4评估是人类评估的廉价和合理的替代方案。

此外，我们发现目前的聊天机器人基准并不值得信赖，无法准确评估聊天机器人的性能水平。一个柠檬分析显示了与ChatGPT相比，Guanaco失败的地方。我们发布了所有的模型和代码，包括用于4位训练的CUDA内核

论文十问

  1. 论文试图解决什么问题？

这篇论文试图解决大规模语言模型微调(finetuning)所需的巨大GPU内存问题,以使这类模型能在单GPU上进行微调。

  1. 这是否是一个新的问题？

是的,这是一个新的问题。以前的工作主要集中在推理时的量化,而没有研究过训练和微调过程中的量化。

  1. 这篇文章要验证一个什么科学假设？

这篇论文的核心科学假设是4比特量化微调可以不损失性能地实现16比特完全微调的效果。

  1. 有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？

相关研究包括语言模型量化、低秩适配器微调等。值得关注的研究员有Tim Dettmers、Luke Zettlemoyer等。

  1. 论文中提到的解决方案之关键是什么？

关键的解决方案是提出了4比特NormalFloat数据类型,以及双量化和分页优化器等技术。这些技术协同工作,实现了高精度的4比特量化。

  1. 论文中的实验是如何设计的？

设计了不同模型结构、数据集和模型规模的比较实验,通过学术基准测试验验证了方法的有效性。

  1. 用于定量评估的数据集是什么？代码有没有开源？

使用的数据集包括GLUE、Super-Natural Instructions等,代码已在GitHub上开源。

  1. 论文中的实验及结果有没有很好地支持需要验证的科学假设？

是的,详细的实验结果充分验证了4比特量化微调能够不损失性能地实现16比特完全微调的效果这个核心科学假设。

  1. 这篇论文到底有什么贡献？

这篇论文的主要贡献是首次证明了4比特量化微调的有效性,并在此基础上训练出新状态的聊天机器人模型。

  1. 下一步呢？有什么工作可以继续深入？

后续可继续研究不同bit精度下的量化微调效果、在更大模型尺寸下的验证,以及在其他任务上的探索等。

实验

实验1

数据集和模型

GLUE、Super-Natural Instructions

RoBERTa-large 、T5

实验结论

我们的结果一致表明，具有NF4数据类型的4位QLORA在学术基准测试中具有良好的评估设置，与16位全调优和16位LoRA调优性能相匹配。我们还表明NF4比FP4更有效，双量化不会降低性能。综合起来，这形成了令人信服的证据，证明4位QLORA调优可靠地产生与16位方法相匹配的结果。

在这里插入图片描述

实验2

数据集和模型

MMLU:这是一个选择题基准，涵盖57个任务，包括小学数学、美国历史、计算机科学、法律等。

Alpaca、FLAN V2

实验结论

在Alpaca和FLAN v2上对不同数据类型的适配器进行微调后，LLaMA 7-65B模型的平均5次MMLU测试精度。总体而言，具有双量化(DQ)的NF4与BFloat16性能相当，而FP4始终比两者落后一个百分点。

在这里插入图片描述

局限性

模型尺度

在33B和65B模型尺度上，QLORA可能无法完全匹配16位全微调性能。这主要是由于资源成本巨大

数据集

虽然在MMLU、Vicuna基准和OA基准上进行了评估，但在BigBench、RAFT和HELM等其他基准上没有进行评估，因此无法确保评估结果推广到这些基准。

其他微调方法

除了LoRA之外，还有各种各样的参数有效微调(PEFT)方法没有参与到评估中。

QLORA:量化LLMA的有效微调
AI浩
06-28 3128
我们提出了QLORA，这是一种有效的微调方法，它减少了内存使用，足以在单个48GB GPU上微调65B参数模型，同时保留完整的16位微调任务性能。QLORA通过冻结的4位量化预训练语言模型将梯度反向传播到Low RankAdapters (LoRA)中。我们最好的模型家族，我们命名为Guanaco，在Vicuna基准上优于之前所有公开发布的模型，达到ChatGPT性能水平的99.3%，而只需要在单个GPU上进行24小时的微调。
[arxiv论文解读]LlamaFactory：100+语言模型统一高效微调
强化学习曾小健
05-22 1769
有效的微调对于使大语言模型适应下游任务至关重要。然而，在不同的模型上实现这些方法需要付出很大的努力。我们提出了LlamaFactory，一个集成了一套尖端高效训练方法的统一框架。它允许用户通过内置的Web UI LlamaBoard灵活定制100+大语言模型的微调，而无需编码。我们凭经验验证了我们的框架在语言建模和文本生成任务上的效率和有效性。它已在发布，并已获得超过 13,000 个 star 和 1,600 个分叉。LlamaFactory：100+语言模型统一高效微调。
transformers QLoRA 基础知识
yitang的博客
12-23 1076
NF4（NormalFloat4）是一种专门用于量化。
【论文解读】QLORA: Efficient Finetuning of Quantized LLMs
weixin_50862344的博客
10-19 1409
(1)4位NormalFloat，一种信息理论上最优的正态分布数据量化数据类型，比4位整数和4位浮点数产生更好的经验结果。(2)双量化。(3)Paged Optimizers，使用NVIDIA统一内存，以避免处理具有长序列长度的小批量时发生的梯度检查点内存峰值。
大模型核心技术综述：微调、推理与优化指南
m0_59163425的博客
02-27 1174
大语言模型（LLM）是非常庞大的深度学习模型，它们在大量数据上进行预训练。其底层的Transformer是一组神经网络，由具有自注意力能力的编码器和解码器组成。编码器和解码器从文本序列中提取含义，并理解其中单词和短语之间的关系。Transformer神经网络架构允许使用非常大的模型，这些模型通常包含数千亿个参数。如此大规模的模型可以摄取大量数据，这些数据通常来自互联网，也可以来自如包含超过500亿个网页的Common Crawl，以及约有5700万页面的维基百科等来源。
神经网络量化原理
weixin_51031772的博客
10-21 1552
一般来说，量化粒度越小，需要额外存储的量化系数就越多，比如针对卷积运算常见的 per-tensor/per-channel 量化，如下图所示，per-tensor 共享一组 (S, Z) 量化系数，而 per-channel 需要多组，提升了量化精度，但同时会一定程度增加量化后数据的大小。基于范围的近似，则需要统计待量化数据的分布，然后进行整体的缩放和偏移，再映射到量化空间，精度相对更高，但需要额外存储量化参数(如缩放系数、偏移等)，并且计算时需要先反量化，比定点近似更复杂。
大模型微调实战：利用INT8/FP4/NF4量化技术提升性能与效率
weixin_41888295的博客
03-19 2728
本文介绍了在大模型微调过程中，如何使用INT8、FP4和NF4等量化技术来优化模型性能和提高运行效率。通过实战案例和技术解析，帮助读者了解并掌握这些量化方法，为实际项目中的大模型应用提供指导。
QLora 里的4-bit NormalFloat Quantization中的分位数量化
samoyan的博客,记录技术成长~
05-06 2897
正态分布，也被称为高斯分布，是连续概率的一种。它的概率密度函数呈钟形，可以完全由两个参数（均值和标准差）确定。在正态分布中，均值、中位数和众数是相等的。分位数函数，又称为逆累积分布函数，是累积分布函数的逆函数。对于正态分布，其分位数函数可以给出对应于预先指定的累积概率的观测值。例如，如果我们知道某个变量服从标准正态分布，我们可以使用分位数函数来找出对应于累积概率0.975的观测值。
十分钟读完「降低 LLaMA 模型微调内存占用的QLoRA」论文
夕小瑶科技说
01-17 1383
QLORA方法的核心在于其能够在不牺牲16位微调任务性能的前提下，通过4位量化预训练语言模型，显著降低微调65B参数模型所需的内存使用量。
【LLM学习】论文学习-Qlora: QLoRA: Efficient Finetuning of Quantized LLMs
m0_62237233的博客
03-21 1042
本文介绍了一种名为QLoRA的创新方法，用于有效微调LLMs（文中Guanaco模型）。这种方法通过减少微调模型所需的内存量，使得原本需要超过780GB GPU内存的6.5B参数模型微调，现在可以在小于48GB的GPU内存下完成，同时保持与16位全参数微调的性能相当。这项技术使得目前最大的公开可用模型能够在单个GPU上微调，显著提高了LLM微调的可行性。so，重点是减少微调模型所需内存的使用——>保持性能的同时，提高了LLM微调的可能性。一种理论上最适合正态分布数据的量化的新的数据类型。
大模型微调经典论文Qlora
04-10
#### 概述 QLORA（Quantization-aware Low-Rank Adaptation）是一种专为大型语言模型（LLMs）设计的高效微调方法，旨在减少微调过程中的内存使用量。该方法允许在单个48GB GPU上对拥有650亿参数的模型进行微调，...
【AI小项目6】QLoRA针对资源受限设备上的大模型微调和文本分类任务的推理
AI完全体
09-19 1214
本项目使用QLoRA技术（即结合了量化 和 LoRA 技术），旨在在资源有限的情况下对预训练大模型进行高效微调，如移动设备或嵌入式设备，并将微调后的模型用在了一个文本分类任务的推理上。包含了完整的训练和推理过程。
大模型微调技术 --＞ LoRA 系列之 QLoRA (省资源能手)
weixin_46034279的博客
11-07 1679
通过提出的两种技术实现了高保真度的4位微调——
自然语言处理: 第十八章微调技术之QLoRA
victor_manches的博客
03-25 2937
QLoRA是来自华盛顿大学的Tim Dettmers大神提出的模型量化算法，应用于LLM训练，降低显存需求，其足以在单个48GB显存的GPU上对LLAMA 65B进行微调，同时能保持16位全量微调的效果。1. 新定义了一种4位标准浮点数NF4(Normal Float4）的最优数据类型2. 双重量化，对普通参数和量化常数分别量化，进一步减少缓存占用3. 分页优化器(page optimizer)，在显存过高时以部分内存替代显存。
大模型量化技术原理：总结
2401_85375186的博客
12-11 3527
本文总结了目前市面上主流的大模型量化方案以及讲述了如何根据特定的场景选择合适的量化算法。
IEEE754-2008 标准详解(一)：浮点数据的分类
黄邦勇帅的博客
11-28 6300
IEEE754-2008 标准详解(一)：浮点数据的分类 本文为原创文章，转载请注明出处，并注明转载自“黄邦勇帅(原名：黄勇) 本文是对《C++语法详解》一书相关章节的增补，以增强读者对浮点数的理解，《C++语法详解》网盘地址：https://pan.baidu.com/s/1dIxLMN5b91zpJN2sZv1MNg 有兴趣的读者可参阅本人所著《C++语法详解》一书，电子工业出版社出版，该书语法示例短小精悍，对查阅C++知识点相当方便，并对语法原理进行了透彻、深入详细的讲解，可确保读者彻底弄懂C++的原
NF4量化算法的PyTorch实现
Slightwind's Blog
11-06 666
为了方便理解NF4算法的实现，这里用PyTorch实现了一版可以和CUDA NF4精度对齐的量化和反量化函数，并使用llama-3.1-8b模型进行测试，可以做到和CUDA实现的算子精度基本对齐（仅反量化存在少许误差），并对模型输出进行测试，64个tokens和CUDA实现完全一致。不过PyTorch的实现存在一定的性能损失，8B模型的量化过程从CUDA实现的3s增加到PyTorch实现的10s；类型的NF4表的中间值进行比较，从而得到表中距离。因此在实现时也需要注意。
QLORA：高效微调量化大型语言模型
人工智能讲师分享前沿技术
09-09 1605
人工智能咨询培训老师叶梓 转载标明出处传统的16位精度微调需要超过780GB的GPU内存，对于参数量极大的模型，如65B（即650亿参数）的模型，在资源有限的情况下大模型的微调几乎是不可能的。华盛顿大学的研究者团队提出了一种名为QLORA的高效微调方法。它通过量化技术和低秩适配器（LoRA）显著降低了微调过程中的内存需求，使得在单个消费级 GPU 上微调高达65B参数的模型成为可能。QLORA 不仅减少了资源消耗，还保持了与全精度16位微调相当的性能，为大型模型的微调和部署开辟了新的可能性。
qlora原理
XD的博客
09-29 977
我们提出了QLORA，这是一种高效的微调方法，它减少了足够的内存使用，可以在单个48GB GPU上微调一个650亿参数的模型，同时保留了完整的16位微调任务性能。QLORA通过一个冻结的、4位量化的预训练语言模型向后传播梯度到低秩适配器（LoRA）。我们最好的模型系列，我们称之为Guanaco，在Vicuna基准测试中超过了所有以前公开发布的模型，达到了ChatGPT 99.3%的性能水平，而仅在单个GPU上微调了24小时。QLORA引入了一系列创新，以节省内存而不牺牲性能：(a)
介绍一下lora大模型微调
最新发布
03-27
<think>嗯，用户让我介绍一下LoRa大模型微调。首先，我需要回忆一下LoRa的基本概念和相关知识。LoRa全称是Low-Rank Adaptation，是一种用于微调大语言模型的技术。记得它主要是通过低秩矩阵分解来减少训练参数的数量，这样可以在保持效果的同时降低计算资源的需求。 接下来，我得考虑用户的背景。他们可能是机器学习从业者或者研究者，尤其是那些在自然语言处理领域工作的人。用户可能已经了解过传统的微调方法，比如全参数微调，但遇到资源消耗大的问题，所以想寻找更高效的替代方案。也有可能用户是刚开始接触大模型微调，想了解不同的技术选项。 用户的需求可能包括了解LoRa的原理、优势、应用场景以及如何实现。需要分步骤解释，确保结构清晰。可能需要比较LoRa和传统微调的区别，突出其优点，比如参数效率、资源节省等。另外，用户可能想知道实际应用中的例子，比如在哪些任务中使用LoRa效果比较好，或者有没有现成的库可以使用。 还要注意用户可能存在的疑问，比如LoRa是否会影响模型性能，或者它的局限性在哪里。比如，虽然LoRa减少了参数，但在某些复杂任务上可能不如全参数微调有效，这时候需要权衡。此外，可能需要提到相关的技术，如Adapter Tuning或Prompt Tuning，帮助用户理解不同方法的差异。 在组织回答时，应该先概述LoRa是什么，然后详细说明其工作原理，接着讨论优缺点，再给出应用场景，最后提供实现建议或工具。确保每个部分都有足够的细节，但不过于技术化，保持易懂。同时，需要检查LaTeX格式是否正确，比如所有数学表达式用$...$包裹，独立公式用$$...$$，并且正确使用中文。 还要注意用户可能的深层需求，比如他们是否在寻找实际操作的指南，或者是否更关心理论背景。这时候需要平衡理论与实践的信息量。例如，在实现部分提到Hugging Face的PEFT库，这可以帮助用户快速上手，而理论部分解释低秩分解如何减少参数。 最后，确保回答真实可靠，引用正确的论文或权威来源，比如提到LoRa的提出者或相关研究，增加可信度。同时，语言要简洁明了，避免术语堆砌，让不同层次的读者都能理解。</think>好的，我将分步骤为您介绍LoRa大模型微调技术： 1. **基本概念** LoRa（Low-Rank Adaptation）是一种针对大语言模型的高效微调方法，由微软研究院在2021年提出。其核心思想是通过**低秩矩阵分解**，仅训练少量参数即可适配下游任务，典型应用场景如：$W_{adapted} = W_{original} + \Delta W$，其中$\Delta W$被分解为两个低秩矩阵$B \cdot A$。 2. **工作原理** - 在原模型权重矩阵$W \in \mathbb{R}^{d \times k}$旁添加适配层 - 将参数增量矩阵分解为： $$\Delta W = B \cdot A \quad (B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k})$$ 其中$r \ll \min(d,k)$为秩（rank），通常取4-64 - 仅需训练$B$和$A$，冻结原始模型参数 3. **关键优势** | 方法 | 训练参数量 | GPU显存 | 存储开销 | |---|---|----|----| | 全参数微调 | 100% | 高 | 每个任务保存完整模型 | | LoRa | 0.1%-1% | 降低60%+ | 仅保存适配器参数 | 4. **典型应用场景** - 领域适配（医疗/法律文本生成） - 多任务学习（同时适配多个任务） - 资源受限环境（单卡微调百亿参数模型） 5. **实现步骤** ```python # 使用Hugging Face PEFT库示例 from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=8, # 秩 lora_alpha=32, # 缩放系数 target_modules=["q_proj", "v_proj"], # 作用于Attention层 lora_dropout=0.1 ) model = get_peft_model(base_model, lora_config) ``` 6. **局限性** - 需要经验选择目标模块和秩大小 - 在极复杂任务上可能弱于全参数微调 - 适配器参数需要与基础模型配合使用 建议实际使用时结合QLoRa（量化+LoRa）进一步优化资源消耗，当前主流方案已支持在单张24G显卡上微调65B参数模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

江小皮不皮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值