QLoRa 低秩分解+权重量化的微调

最新推荐文章于 2025-03-23 20:58:54 发布
最新推荐文章于 2025-03-23 20:58:54 发布
阅读量664 收藏 3
点赞数 5
分类专栏： AIGC大模型 大模型 教程 文章标签： 大模型 AIGC ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38650077/article/details/137701583
版权
本文介绍了QLoRa技术，通过低秩分解减少全连接层和卷积层的参数，随后进行权重量化以降低存储和计算需求。权重量化在INT8量化下能大幅减小存储和计算复杂度，但需平衡模型精度与效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

QLoRa的核心思想是首先使用低秩分解技术降低参数的数量，然后对这些低秩表示的参数应用量化技术，进一步减少所需的存储空间和计算量。

图片

https://arxiv.org/abs/2305.14314

低秩分解

低秩分解（Low-Rank Factorization）：通过将模型中的权重矩阵分解为更小的矩阵乘积，减少模型中的参数数量。

参看：LoRA 微调和低秩矩阵

类似下图，4×5 的矩阵变成 4×2 的矩阵跟 2×5 的矩阵乘积：

图片

这种方法特别适用于减少全连接层和卷积层的参数，因为这些层通常包含大量的参数。

权重量化

权重量化（Weight Quantization）：在进行低秩分解之后，QLoRa对得到的低秩矩阵进行量化，将浮点数权重转换为低比特宽度的表示形式。

这进一步减少了模型的存储需求和计算复杂度，使模型更适合部署在资源受限的设备上。

下面是一些常见的权重量化方法及其对计算和存储复杂度的影响的比较：

图片

  • 存储复杂度降低：这指的是模型权重存储空间的减少。例如，使用8位整数（INT8）量化时，存储需求是原始32位浮点数（FP32）的1/4，因此存储复杂度降低了4倍。

  • 计算复杂度降低：这主要指的是运行模型所需的计算资源减少。计算复杂度的降低程度取决于特定硬件对不同数据类型操作的支持程度。一般来说，使用低比特宽度进行量化可以显著加速计算，尤其是在支持特定量化操作的硬件上。

需要注意的是，量化的比特宽度越低，对模型精度的潜在影响越大。因此，在选择量化策略时，需要在模型大小、计算效率与模型性能之间做出权衡。此外，实际的存储和计算复杂度降低也取决于特定的模型架构、硬件平台以及量化后的优化程度。

QLoRA：量化 LLM 的高效微调
强化学习曾小健
06-05 1887
我们介绍了 QLoRA，这是一种有效的微调方法，可以减少内存使用量，足以在单个 48GB GPU 上微调 65B 参数模型，同时保留完整的 16 位微调任务性能。QLoRA 通过冻结的 4 位量化预训练语言模型将梯度反向传播到低阶适配器 (LoRA)。我们最好的模型系列，我们命名为 Guanaco，在 Vicuna 基准测试中优于所有以前公开发布的模型，达到 ChatGPT 性能水平的 99.3%，同时只需要在单个 GPU 上进行 24 小时的微调。
QLORA:量化LLMA的有效微调
AI浩
06-28 3150
我们提出了QLORA，这是一种有效的微调方法，它减少了内存使用，足以在单个48GB GPU上微调65B参数模型，同时保留完整的16位微调任务性能。QLORA通过冻结的4位量化预训练语言模型将梯度反向传播到Low RankAdapters (LoRA)中。我们最好的模型家族，我们命名为Guanaco，在Vicuna基准上优于之前所有公开发布的模型，达到ChatGPT性能水平的99.3%，而只需要在单个GPU上进行24小时的微调。
模型压缩（1）——低秩分解
计算机视觉的学习日常
03-09 3258
低秩分解，高效压缩模型的简单实现
深度学习模型压缩与加速技术（三）：低秩分解
十二月未央未眠
04-25 1万+
目录总结低秩分解定义特点1.二元分解2.多元分解参考文献 深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格外关注。利用神经网络的冗余性进行深度学习的模型压缩和加速引起了学术界和工业界的广泛兴趣，各
网络轻量化的方法（低秩分解、权重量化、权重剪枝/稀疏化、结构化剪枝/稀疏化和神经网络架构学习）
m0_73916791的博客
12-19 2192
在现代深度学习应用中，轻量化神经网络已成为一个至关重要的研究领域。: 通过技术如奇异值分解（SVD）将神经网络中的权重矩阵近似为低秩矩阵。这种方法特别适合于全连接层，能实现约3倍的模型大小压缩，但由于CNN的计算运算主要来源于卷积层，它并没有显著加速。: HashNet 提出了对于网络权重进行量化的方法。在训练前，网络权重通过哈希到不同组内，并且每组内权重共享。这样一来，只需存储共享权重和哈希索引，因此能节省大量存储空间。
面向大模型的低秩分解与模型压缩技术研究
DUT_LYH
03-24 1395
低秩分解是一种有效的模型压缩技术，可以显著降低大规模神经网络模型的计算复杂度和存储需求。更高效的低秩分解算法：研究者们正在不断寻找更高效的低秩分解算法，以进一步提高模型的压缩效率。结合深度学习：将低秩分解与深度学习技术相结合，可以进一步提高模型的性能和压缩效率。应用场景的拓展：低秩分解在图像处理、推荐系统等领域有着广泛的应用，未来可以进一步拓展到其他领域。计算复杂度：低秩分解的计算复杂度较高，需要进一步优化算法以降低计算成本。
NLP高频面试题（十二）——Lora微调的原理、什么是Qlora
WeLearnNLP
03-23 905
LoRA（Low-Rank Adaptation）是一种针对大型预训练模型的微调方法，其核心思想是通过低秩矩阵分解的方式高效实现模型参数的微调。传统的微调方法通常需要更新模型所有的参数，而LoRA则通过新增一个并行的低秩结构来间接实现模型参数的更新。QLoRA（Quantized LoRA）是在LoRA基础上提出的一种创新技术，旨在进一步降低模型微调时的内存使用，通过量化预训练模型权重至4-bit，同时结合低秩适配器（LoRA）实现高效的微调。一种针对正态分布数据的最优4-bit量化方法，精度损失极小。
LLM参数高效微调（LORA,QLORA）
qq_43814415的博客
03-24 2017
这个通路包含两个矩阵：( A )实现降维，而( B )完成升维，它们的乘积表达了模型的“本征秩”（intrinsic rank），即更新中保留的核心信息。此外，它也更容易过拟合，尤其是在小数据集上。QLoRA的创新之处在于它显著减少了内存的使用，使得可以在单个48GB的GPU上微调一个有650亿参数的模型，同时保持16比特微调的性能。因此，通过采用参数高效微调技术，如适配器、LoRA或提示微调，可以在保持预训练模型大部分权重不变的情况下，仅对一小部分参数进行微调，从而大大减少计算资源和训练时间的需求。
四种大模型微调方法总结
2401_86154640的博客
07-22 1334
QLoRA于23年5月份通过此篇论文《QLORA: Efficient Finetuning of Quantized LLMs》被提出，本质是对LoRA的改进，相比LoRA进一步降低显存消耗。因为LoRa为LLM的每一层添加了少量的可训练参数(适配器)，并冻结了所有原始参数。这样对于微调，只需要更新适配器权重，这可以显著减少内存占用而QLoRa更进一步，引入了4位量化、双量化和利用nVidia统一内存进行分页。所有这些对比Lora，进一步降低了显存消耗。
【大模型实操 | LoRA、QLoRA微调大模型实战技巧分享，含常见QA解答！】
lhx17673139267的博客
07-04 1302
由于GPU内存的限制，在训练过程中更新整个模型权重成本很高。例如，假设有一个7B参数的语言模型，用一个权重矩阵W表示。在反向传播期间，模型需要学习一个ΔW矩阵，旨在更新原始权重，让损失函数值最小。权重更新如下：如果权重矩阵包含7B个参数，则权重更新矩阵也包含7B个参数，计算矩阵非常耗费计算和内存。如上所示，的分解意味着我们需要用两个较小的LoRA矩阵A和B来表示较大的矩阵。如果A的行数与相同，B的列数与相同，可以将以上的分解记为。（AB是矩阵A和B之间的矩阵乘法结果。这种方法节省了多少内存呢？
QLoRA：量化LLM的高效微调策略与实践
FrenzyTechAI的博客
09-05 1万+
在大型语言模型（LLM）领域，微调是提高性能和调整行为的关键过程。然而，由于内存需求巨大，对于大型模型进行微调可能非常昂贵。最近，华盛顿大学发表了一项关于解决这一问题的创新方案——QLoRA（Quantized Low-Rank Adapter）。QLoRA是一种新的微调大型语言模型（LLM）的方法，它能够在节省内存的同时保持速度。其工作原理是首先将LLM进行4位量化，从而显著减少模型的内存占用。接着，使用低阶适配器（LoRA）方法对量化的LLM进行微调。
QLORA：高效微调量化大型语言模型
人工智能讲师分享前沿技术
09-09 1730
人工智能咨询培训老师叶梓 转载标明出处传统的16位精度微调需要超过780GB的GPU内存，对于参数量极大的模型，如65B（即650亿参数）的模型，在资源有限的情况下大模型的微调几乎是不可能的。华盛顿大学的研究者团队提出了一种名为QLORA的高效微调方法。它通过量化技术和低秩适配器（LoRA）显著降低了微调过程中的内存需求，使得在单个消费级 GPU 上微调高达65B参数的模型成为可能。QLORA 不仅减少了资源消耗，还保持了与全精度16位微调相当的性能，为大型模型的微调和部署开辟了新的可能性。
大模型微调技术 --＞ LoRA 系列之 QLoRA (省资源能手)
weixin_46034279的博客
11-07 1789
通过提出的两种技术实现了高保真度的4位微调——
大模型学习路线（5）—— 大模型压缩（量化、剪枝、蒸馏、低秩分解），推理（vllm）
热门推荐
qq_51175703的博客
05-05 1万+
一、模型压缩目标：（1）减少模型显存占用；（2）加快推理速度；（3）减少精度损失。 二、模型压缩算法分类（如何降低权重和激活成本）：（1）模型量化（quantization（2）参数剪枝（pruning）（3）知识蒸馏（knowledge distillation）
Machine Learning第九讲【推荐系统】-- （三）低秩矩阵分解
xueluowutong的博客
01-03 1158
一、Vectorization: Low Rank Matric Factorization（向量化： 低秩矩阵分解） 我们仍然使用之前movie的例子： 将这些数据写成矩阵的形式，即右边的Y矩阵，又因为用户j对电影i的评分预测值为： 因此Y矩阵对应的预测值应为：                                                我们记：       ...
解读：A Survey of Model Compression and Acceleration for Deep Neural Networks
weixin_39326879的博客
08-05 672
摘要 近年来，深度神经网络在视觉任务上取得了不错的发展，但是超高的计算量对内存和计算都带来了压力，尤其是要移植到移动设备上时。近年来模型压缩和加速也取得了很大的进展，我们主要分为四个方面：1.参数剪枝和量化；2.低阶分解；3.转移/压缩卷积滤波器（仅仅针对CNN）；4.知识蒸馏，后面我们再叙述一些现在比较成功的方法，比如动态网络和随机深度网络。 简介 许多模型虽然有很好的性能，但是由上亿的参数组成，需要在GPU上训练好几天。 参数剪枝和量化是通过移除不重要的参数或者参数中不重要的位数，可以加速运算并防止过拟
矩阵低秩张量分解_张量分解（三）:模型压缩
weixin_42164702的博客
12-30 1544
目前已经全面转向自然语言处理了，但是大实验室还是做张量的，之前还关注一部分张量模型压缩的文章和实验，奈何我对张量理论了解的不深刻，所以这里只是一个综述和个人见解。2020.2.24 我回来更新啦。开始我们的正题。随着深度学习模型的日渐增大，对部署的压力也越来越大，模型压缩就是很好的解决方案。常见的模型压缩方法有蒸馏，TS，量化，剪枝，低秩分解等等。这里的张量压缩方法就是低秩分解的一种。本文使用TT...
低秩分解
weixin_30650859的博客
11-07 1684
十岁的小男孩 　　本文为终端移植的一个小章节。 目录 　　概念 　　1. 奇异值（SVD）分解 　　2. 张量分解 　　　　2.1CP 分解( Canonical Polyadic Decomposition (CPD) 　　　　2.2 TD 分解( Tucker Decomposition ) 　　　　2.3 BTD 分解（block term decomposition） ...
qlora微调
最新发布
05-13
<think>好的，我现在需要帮助用户了解QLoRA微调的使用方法或示例代码。首先，我要回顾一下用户的问题，确保我理解正确。用户明确提到了“qlora微调的使用方法或教程”，并且希望得到示例代码。用户还提供了几个引用资料，我需要参考这些内容，但也要注意用户的上一次问题，不过目前看起来这是用户第一次询问这个问题。 接下来，我需要整理QLoRA的基本概念。QLoRA是一种高效微调大模型的技术，结合了量化（Quantization）、低秩适配器（LoRA）等技术，能在低显存环境下进行微调。用户提供的引用中提到了微软的Phi-2模型和Llama模型，所以示例代码可能会用到这些模型。 然后，我需要考虑步骤分解。通常，微调流程包括环境准备、模型和Tokenizer加载、数据集处理、训练配置、训练与评估、保存与应用。我需要将这些步骤逐一解释，并给出对应的代码示例。 在环境准备部分，需要安装必要的库，如transformers、datasets、peft、bitsandbytes等。引用[4]提到了这些库，尤其是peft和bitsandbytes，所以代码中需要体现这些依赖。 加载模型时，要注意4位量化的配置，如bnb_config的设置。引用[1]和[2]中的代码示例展示了如何加载模型，特别是使用AutoModelForCausalLM.from_pretrained并传入quantization_config参数。同时，需要设置device_map和trust_remote_code等参数。 Tokenizer的配置也很重要，引用[2]提到需要设置pad_token为eos_token，并调整padding_side。这部分需要详细说明，以确保数据处理正确。 数据集处理部分，用户可能需要使用自定义数据集，引用[3]提到需要根据具体任务调整数据集。这里需要给出一个简单的示例，比如使用datasets库加载数据，并进行预处理，如添加提示模板。 训练配置时，要使用LoRA的参数，比如r、lora_alpha、target_modules等。引用[3]和[4]提到了使用peft库中的LoraConfig，然后调用get_peft_model将原模型转换为可微调的模型。训练参数如TrainingArguments需要设置输出目录、学习率、批次大小等。 在训练过程中，使用Trainer类，并传入模型、训练参数、数据集等。引用[3]提到可能需要添加学习率调度器或早停法，但示例中可以简化，用户可以根据需要扩展。 最后，保存和应用模型时，要保存适配器部分，并演示如何加载微调后的模型进行推理。这部分需要展示如何合并模型或仅加载适配器，引用[4]提到了HuggingFace的库支持这些操作。 同时，我需要确保代码格式正确，使用Python的代码块，并遵循用户提供的系统级指令，比如行内数学表达式使用$...$，独立公式用$$...$$。不过在这个问题中可能数学公式较少，但如果有的话要注意格式。 用户的问题还要求生成相关问题，我需要考虑用户可能进一步询问的内容，比如QLoRA的原理、显存优化方法、不同模型的适配情况、数据集处理技巧以及微调后的评估方法。 最后，检查所有引用是否正确应用，并确保回答结构清晰，逐步引导用户完成QLoRA微调的过程。同时，保持语言简洁，代码示例明确，避免错误。</think>以下是基于多篇引用资料整理的QLoRA微调使用教程，包含关键步骤和示例代码： ### 一、QLoRA微调核心步骤 1. **环境准备** ```python pip install transformers datasets peft accelerate bitsandbytes ``` 2. **模型加载（4位量化）** ```python from transformers import AutoModelForCausalLM, AutoTokenizer import bitsandbytes as bnb bnb_config = bnb.config.BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16 ) model = AutoModelForCausalLM.from_pretrained( "microsoft/phi-2", # 或替换为meta-llama/Llama-2-7b-hf quantization_config=bnb_config, device_map="auto", trust_remote_code=True ) model.config.use_cache = False # 禁用缓存提高训练效率[^2] ``` 3. **标记器配置** ```python tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-2") tokenizer.pad_token = tokenizer.eos_token # 对齐填充标记[^2] tokenizer.padding_side = "right" # 右对齐填充 ``` 4. **数据集处理示例** ```python from datasets import load_dataset dataset = load_dataset("your_dataset") def format_prompt(example): return {"text": f"Instruction: {example['instruction']}\nResponse: {example['response']}"} dataset = dataset.map(format_prompt) ``` 5. **训练配置** ```python from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=8, # 低秩矩阵维度 lora_alpha=32, target_modules=["q_proj", "v_proj"], # 选择注意力层的投影矩阵 lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) # 转换为可训练适配器模式[^4] ``` 6. **训练执行** ```python from transformers import TrainingArguments, Trainer training_args = TrainingArguments( output_dir="./output", per_device_train_batch_size=2, gradient_accumulation_steps=4, learning_rate=3e-4, num_train_epochs=2, fp16=True # 半精度训练 ) trainer = Trainer( model=model, args=training_args, train_dataset=dataset["train"], eval_dataset=dataset["test"] ) trainer.train() ``` 7. **模型保存与应用** ```python model.save_pretrained("./qlora_adapter") # 仅保存适配器权重[^3] # 推理时加载 from peft import PeftModel loaded_model = PeftModel.from_pretrained(base_model, "./qlora_adapter") ``` ### 二、关键配置说明 - **量化配置**：`bnb_4bit_quant_type`支持`nf4`/`fp4`，`bnb_4bit_compute_dtype`建议使用`bfloat16`[^1] - **目标模块**：不同模型需要指定不同的投影层，如Llama常用`q_proj`,`v_proj`，GPT类模型常用`c_attn`[^4] - **内存优化**：通过`gradient_accumulation_steps`降低显存消耗[^3] ### 三、典型报错处理 1. **显存不足**：减小`per_device_train_batch_size`，增加`gradient_accumulation_steps` 2. **标记器错误**：确保`pad_token`正确设置，建议与`eos_token`对齐[^2] 3. **精度问题**：启用`fp16=True`或`bf16=True`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值