LLM学习记录（lora、Qlora与量化）

最新推荐文章于 2025-03-30 17:23:07 发布
最新推荐文章于 2025-03-30 17:23:07 发布
阅读量1.8k 收藏 21
点赞数 22
文章标签： 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44538746/article/details/135847236
版权

因为硬件资源有限，本来在研究LLM量化的，后来发现这与lora和Qlora有点关系，刚好我对这两个技术知之甚浅，一并进行学习了。

首先模型量化分为量化感知训练（QAT）和训练后量化（PTQ）。顾名思义，PTQ是在LLM完成训练（预训练/微调）后对权重/权重+激活进行直接量化，这种方法目前非常热门，与QAT相比研究的人非常多，猜测可能是方法比较粗暴简单，往上面做文章也好下手，从下图应该可以看出来。

引自《A Survey on Model Compression for Large Language Models》

PTQ虽然简单，但是有个比较大的弊端是，对训练后的参数直接量化会削弱模型性能，于是有学者提出了QAT的方法，这个方法宗旨是让模型更适应后量化，主要操作是在模型训练阶段，前向推理使用低精度的模型参数，计算得到损失之后，反量化至高精度如FP16，根据这一损失优化fp16的原参数，原参数优化后再量化为低精度，参与下一轮参数更新（大致过程应该是这样，有错误的欢迎指出）。Qlora是QAT中最成功的方法之一，在讲Qlora之前，我们需要讲一下lora。

lora其实很简单，总所周知，LLM参数量基本都在十亿以上，当进行微调的时候，更新全参数所需的GPU将是巨大的（后续补充一些常见LLM训练/推理的内存需求统计），利用网络中的矩阵计算特点，我们将部分网络层的更新用两个矩阵乘积表示

\Delta W=AB 

在模型接收微调时，模型参数被冻结，只有A和B矩阵的参数被更新。等到微调完成后，我们可以将参数更新与原参数融合获得任务适配的LLM

W=W_{0}+\Delta W 

作为参数高效微调方法 ，lora现在广泛用于LLM参数微调中，其极大地减少了模型微调中梯度带来的内存占用。但是，lora还是需要加载全部的模型参数参与训练，如果我的硬件实在很拉怎么办？于是人们提出了Qlora。

Qlora是QAT与lora的一个结合。这一方法采用lora的结构，但是模型参数采用int4量化后的预训练模型，适配器采用fp16的精度，训练过程如上述QAT所述，最后获得高精度微调后的int4量化LLM。

从目前的研究来看，感觉大多数的模型，尤其是垂域模型都是采用lora进行微调，量化这一块，感觉水确实蛮深的，而且量化完后设备也不一定能支持，初学者慎入。。

学习参考

模型量化、感知训练以及混合精度训练的理论理解和总结_模型混合量化 敏感-CSDN博客

QLoRA: 4bit量化+LoRA训练=瞬间起飞 - 知乎 (zhihu.com)

高效大语言模型微调：LoRA 和 QLoRA - 掘金 (juejin.cn)

太通透了！大模型训练和推理优化技术最全汇总！ - 知乎 (zhihu.com)

关于LLM推理/训练内存占用量

【大模型】LLM显存占用对比：Qwen-7B-Chat，Qwen-14B-Chat-Int8，chatglm3-6b_qwen7b微调显存-CSDN博客

开源大模型部署及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略 - 智源社区 (baai.ac.cn)

QwenLM/Qwen：阿里云提出的 Qwen （通义千问） 聊天和预训练大型语言模型的官方存储库。 (github.com)

开源大模型部署及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略 - 智源社区 (baai.ac.cn)

【官方教程】ChatGLM-6B 微调，最低只需 7GB 显存 - 知乎 (zhihu.com) 

1-2B参数规模大模型使用心得及模型汇总 - 知乎 (zhihu.com) 

不看书
关注
LLM - 大模型 LoRA 微调的超参数与参数量 教程
AGI
11-28 1637
LoRA(Low-Rank Adaptation, 低秩适配)，微调预训练大模型的技术，即参数有效微调(Parameter-Efficient Fine-tuning, PEFT)，在不改变原始权重的基础上，引入可训练的 低秩分解矩阵 调整模型参数，适应特定任务或领域。冻结预训练模型的参数，在 Transfomer 的每一层中，加入可训练的旁路矩阵(低秩可分离矩阵)，将旁路输出与初始路径输出相加，输入到网络当中，只训练这些新增的旁路矩阵参数。
【大模型实操 | LoRA、QLoRA微调大模型实战技巧分享，含常见QA解答！】
lhx17673139267的博客
07-04 1285
由于GPU内存的限制，在训练过程中更新整个模型权重成本很高。例如，假设有一个7B参数的语言模型，用一个权重矩阵W表示。在反向传播期间，模型需要学习一个ΔW矩阵，旨在更新原始权重，让损失函数值最小。权重更新如下：如果权重矩阵包含7B个参数，则权重更新矩阵也包含7B个参数，计算矩阵非常耗费计算和内存。如上所示，的分解意味着我们需要用两个较小的LoRA矩阵A和B来表示较大的矩阵。如果A的行数与相同，B的列数与相同，可以将以上的分解记为。（AB是矩阵A和B之间的矩阵乘法结果。这种方法节省了多少内存呢？
QLoRA：量化LLM的高效微调策略与实践
热门推荐
FrenzyTechAI的博客
09-05 1万+
在大型语言模型（LLM）领域，微调是提高性能和调整行为的关键过程。然而，由于内存需求巨大，对于大型模型进行微调可能非常昂贵。最近，华盛顿大学发表了一项关于解决这一问题的创新方案——QLoRA（Quantized Low-Rank Adapter）。QLoRA是一种新的微调大型语言模型（LLM）的方法，它能够在节省内存的同时保持速度。其工作原理是首先将LLM进行4位量化，从而显著减少模型的内存占用。接着，使用低阶适配器（LoRA）方法对量化的LLM进行微调。
QLoRA：量化 LLM 的高效微调
AI生成式技术曾小健
06-06 2510
我们提出了一种高效的微调方法QLORA，可以在单个48GB GPU上减少内存使用量，同时保持完整的16位微调任务性能，从而对一个拥有65B参数的模型进行微调。QLORA通过将梯度反向传播到冻结的4位量化预训练语言模型中，进而传递到低秩适配器（LoRA）。我们的最佳模型系列被命名为Guanaco，在Vicuna基准测试中表现优于所有先前公开发布的模型，达到ChatGPT性能水平的99.3%，仅需要单个GPU上的24小时微调时间。
大模型微调系列（三）QLoRA微调
最新发布
topfine的博客
03-30 1279
认识常用的指令监督微调数据集 如何构建自定义数据集 为什么是QLoRA 学会使用LLamFactory 进行QLoRA微调大模型
大模型微调技术LoRA与QLoRA
Gefangenes的博客
06-30 8088
QLORA 可以使用 4 位基础模型和低秩适配器 (LoRA) 复制 16 位完全微调性能。QLORA将微调65B参数模型的平均内存需求从>780GB的GPU内存降低到
探索QLora：一款强大的LoRa数据处理工具
gitblog_00049的博客
03-20 467
探索QLora：一款强大的LoRa数据处理工具 qloraQLoRA: Efficient Finetuning of Quantized LLMs项目地址:https://gitcode.com/gh_mirrors/ql/qlora 项目简介 是一个由Artidoro开发的开源项目，它提供了一个强大而灵活的框架，用于收集、解析和可视化LoRa网络中的数据。如果你在物联网（IoT）领域工作，特...
使用LoRA和QLoRA微调LLMs：数百次实验的见解
qq_20144897的博客
02-13 3300
使用LoRA和QLoRA微调LLMs模型的最佳实践，以及调参建议
大模型基础知识-LoRA与QLoRA
与神共舞
07-15 2227
QLoRA (Quantized Low-Rank Adaptation) 是一种结合了模型量化和低秩适配的技术，旨在减少大规模预训练模型微调和部署的计算和存储成本。参数高效：通过这种方式，只需微调少量参数（即低秩矩阵的参数），而非整个模型的参数，从而大大降低了存储和计算成本。低秩适配 (LoRA)：在量化后的模型上应用低秩适配技术，仅微调少量附加的低秩矩阵，从而保持微调的高效性。低秩适配：在量化后的模型基础上进行低秩适配，通过引入低秩矩阵来进行微调，从而节省参数数量和计算开销。
LLM参数高效微调（LORA,QLORA）
qq_43814415的博客
03-24 1998
这个通路包含两个矩阵：( A )实现降维，而( B )完成升维，它们的乘积表达了模型的“本征秩”（intrinsic rank），即更新中保留的核心信息。此外，它也更容易过拟合，尤其是在小数据集上。QLoRA的创新之处在于它显著减少了内存的使用，使得可以在单个48GB的GPU上微调一个有650亿参数的模型，同时保持16比特微调的性能。因此，通过采用参数高效微调技术，如适配器、LoRA或提示微调，可以在保持预训练模型大部分权重不变的情况下，仅对一小部分参数进行微调，从而大大减少计算资源和训练时间的需求。
PEFT中的主流微调方法(LORA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning及P-Tuning v2)
安静的软件工程师
03-14 2117
PEFT中的主流微调方法(LORA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning及P-Tuning v2)
QLORA：高效微调量化大型语言模型
人工智能讲师分享前沿技术
09-09 1630
人工智能咨询培训老师叶梓 转载标明出处传统的16位精度微调需要超过780GB的GPU内存，对于参数量极大的模型，如65B（即650亿参数）的模型，在资源有限的情况下大模型的微调几乎是不可能的。华盛顿大学的研究者团队提出了一种名为QLORA的高效微调方法。它通过量化技术和低秩适配器（LoRA）显著降低了微调过程中的内存需求，使得在单个消费级 GPU 上微调高达65B参数的模型成为可能。QLORA 不仅减少了资源消耗，还保持了与全精度16位微调相当的性能，为大型模型的微调和部署开辟了新的可能性。
【论文解读】QLORA: Efficient Finetuning of Quantized LLMs
weixin_50862344的博客
10-19 1420
(1)4位NormalFloat，一种信息理论上最优的正态分布数据量化数据类型，比4位整数和4位浮点数产生更好的经验结果。(2)双量化。(3)Paged Optimizers，使用NVIDIA统一内存，以避免处理具有长序列长度的小批量时发生的梯度检查点内存峰值。
大模型微调笔记：对比LoRA、QLoRA、AdaLoRA、LoRA+
一只努力学习的小碗~
02-21 1321
大模型微调笔记：对比LoRA、QLoRA、AdaLoRA、LoRA+
单卡轻松打造 ChatGPT 竞争者“原驼”，QLoRA 革新大语言模型微调技术
ZILLIZ
06-01 832
论文中使用的测试数据包括953条不重复的用户查询，筛选自两个数据集：”小羊驼“ Vicuna中80个不同类别的提示，以及OASST1（OpenAssistant Conversations）验证集的多语言多轮对话。总体而言，”原驼“更尊重事实、不容易受到错误信息的误导，并且拥有强大的心智理论（Theory of Mind），即理解自己以及周围人类的心理状态的能力。NF4（4位 NormalFloat）：一种新的数据类型，对于正态分布的权重来说，在信息理论上是最优的。出品人：Towhee 技术团队。
大模型LLM量化 , 5个基础技术知识
2301_76161259的博客
06-11 1589
写这篇文章原因下载 qwen 110B 模型发现不同量化占的内存差异很大,就想搞明白到底量化会着重影响哪方面的推理能力Qwen1.5-110B-Chat的显存全精度部署(32 精度)占用220GB;8bit量化部署Qwen1.5-110B需要113GB显存;4bit量化部署Qwen1.5-110B，需要62GB显存大型语言模型（LLMs）的量化是减小其大小和内存使用的关键策略，同时努力保持其质量。这种压缩技术对于在计算能力有限的设备上部署高级模型至关重要2 种量化方式。
论文干货 | 首篇大模型压缩论文综述
qq_45832461的博客
10-22 1531
来自中国科学院和人民大学的研究者们深入探讨了基于LLM的模型压缩研究进展并发表了该领域的首篇综述《A Survey on Model Compression for Large Language Models》。
大模型量化概述
2401_85324918的博客
08-09 1801
模型量化是指以较低的推理精度损失将连续取值（通常为float32或者大量可能的离散值）的浮点型权重近似为有限多个离散值（通常为int8）的过程。通过以更少的位数表示浮点数据，模型量化可以减少模型尺寸，进而减少在推理时的内存消耗，并且在一些低精度运算较快的处理器上可以增加推理速度。具体如下图所示，[-T, T]是量化前的数据范围，[-127, 127]是量化后的数据范围。image.png本文简要概述了模型量化基本原理以及目前针对大模型的一些量化方法。
LLMs之Quantization：LLM中量化技术的可视化指南之量化技术的简介、常用数据类型、校准权重和激活值的量化方法(PTQ/QAT)，1-bit 的LLM的时代以及BitNet 1.58
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-25 1934
请记住，它通过比例因子（s）乘以给定权重：比例因子是使用来自“子”块的信息计算的，但使用来自具有自身比例因子的“超级”块的信息进行量化：这种逐块量化使用“超级”块的比例因子（s_super）来量化“子”块的比例因子（s_sub）。LLMs之Quantization：LLM中量化技术的可视化指南之量化技术的简介、常用数据类型、校准权重和激活值的量化方法(PTQ/QAT)，1-bit 的LLM的时代以及BitNet 1.58。在前面的例子中，我展示了一种简单的方法，即选择一个任意的范围[-5, 5]。
中文大模型微调技术与数学数据集支持综述
- QLoRA: 是LoRA的量化版本，它通过使用量化方法来进一步减少模型微调所需的计算资源。 - DeepSpeed: 微软开发的一种深度学习优化库，它通过提高效率和规模来加速深度学习模型的训练过程。 5. 相关工具 - UI: ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值