Peft库使用技巧（一）：合并基座模型与Lora模型【使用Peft库微调基座模型（比如LLaMA-7B）后会得到Lora参数模块，将基座模型与Lora参数合并后才能得到完整的微调后的大模型】

已于 2023-07-01 12:36:29 修改
阅读量2.8k 收藏 5
点赞数
分类专栏： # LLM/训练 文章标签： pytorch 深度学习 人工智能
于 2023-07-01 12:34:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131489135
版权
本文介绍了如何使用Peft库对LLaMA-7B等基座模型进行微调，得到Lora参数，并详细阐述了如何将两者合并形成完整的大模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用Peft库微调基座模型（比如LLaMA-7B）后会得到Lora参数模块，将基座模型与Lora参数合并后才能得到完整的微调后的大模型

#    Copyright 2023 Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li
#
#    Licensed under the Apache License, Version 2.0 (the "License");
#    you may not use this file except in compliance with the License.
#    You may obtain a copy of the License at
#
#        http://www.apache.org/licenses/LICENSE-2.0
#
#    Unless required by applicable law or agreed to in writing, software
#    distributed under the License is distributed on an "AS IS" BASIS,
#    WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#    See the License for the specific language governing permissions and
#    limitations under the
了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM-微调：LoRA 模型合并与保存【将利用lora训练后的lora模型与基座模型合并，将新合并的模型用作独立模型】【可以将基座模型合并多个lora模型】【也可不合并模型，前向推理计算后再合并结果】
u013250861的博客
10-22 4592
虽然 LoRA 明显更小，训练速度更快，但由于分别加载基本模型和 LoRA 模型，可能会在推理过程中遇到延迟问题。为了消除延迟，可以使用 merge_and_unload 函数将适配器权重与基本模型合并，这样可以有效地将新合并的模型用作独立模型。LoRA 模型中可训练参数的结果数量取决于低秩更新矩阵的大小，其主要由秩 r 和原始权重矩阵的形状确定。通过 merge_and_unlaod 方法可以合并多个 Lora 模型，这里博主尝试将同一个模型的 3 个 CKPT 合并至原始模型中。
开源模型应用落地-qwen2-7b-instruct-LoRA微调&模型合并-LLaMA-Factory-单机多卡-RTX 4090双卡（六）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-16 2万+
使用LLaMA-Factory合并微调后的模型权重
LORA模型与基座大模型合并并由transformer的AutoModel推理
victor_manches的博客
09-30 1057
这里主要阐述的是Lora与LLM合并后，可以直接由Transformer的AutoModel去加载与推理。这里就不再赘述了，大概原理就是。
基于peft的lora进行模型qwen0.5的微调、合并、转换为.gguf
最新发布
hnmpf的博客
03-22 1207
2、解压后切换到../../llama.cpp-master/ 目录下执行 cmd 并运行 pip install requirements.txt 即可等待安装（注意：这个操作可能会影响到你的已有程序的依赖，由于本人没有采用python 虚拟环境，故出现了依赖问题，最后 升级pytorch--gpu来修复的，因为这个脚本会默认将当前环境的pytorch 切换为 pytorch--cpu）现在我们微调后的模型属于自己的本地模型，如果想要做后续的量化或者使用ollam进行部署就有必要进行格式转换。
LLM - LoRA 模型合并与保存
BITDDD小栈
08-03 2万+
LoRA 模型 merge_and_unload 合并与保存。
AIGC笔记--基于PEFT库使用LoRA
牵一只蜗牛去散步
05-28 1889
核心公式是：new_weights = origin_weights + alpha* (BA)固定原始层，通过添加和训练两个低秩矩阵，达到微调模型的效果；4--权重保存和合并。
lora_adapter 模型和原模型合并成一个模型
高颜值的杀生丸(此博客转载自我的博客园)
05-31 1281
lora 部分合并到原模型参数上 import torch from peft import PeftModel from transformers import AutoTokenizer, AutoModelForCausalLM, LlamaTokenizer from transformers.generation.utils import GenerationConfig de...
ChatGLM3-6B本地部署LORA微调模型合并以及使用
weixin_42916154的博客
04-12 2273
IndexError: index out of range in self 原因是数据集太少了，增加数据集，或者修改为1。合并完成后直接使用的话要把Chatglm3-6B原始模型里面的几个Token文件复制到合并以后的文件夹中，不然会报错。用到其他调用方式的把模型地址替换一下就好了。运行代码python finetune_hf.py [数据集地址]finetune_hf.py，各种参数在lora.yaml文件中进行调整。'更换为自己的文件夹地址以及想用的提示词。将微调后的模型和原来的模型进行合并。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-21 8306
使用LLaMA-Factory高效微调qwen2-7b-instruct
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-10 4万+
使用LLaMA-Factory高效微调qwen2-7b-instruct
开源模型应用落地-qwen2-7b-instruct-LoRA微调&合并-ms-swift-单机多卡-RTX 4090双卡（十五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-02 1万+
使用ms-swift合并微调后的模型权重
基于大语言模型的LoRA微调及模型合并技术实践指南
North_D的博客
02-24 3950
模型合并主要涉及将多个LoRA模型的适配器参数有效地整合到一个统一的模型中，以便在一个模型上执行多种任务。
【自然语言处理】大模型高效微调：PEFT 使用案例
wzk4869的博客
08-09 6044
【自然语言处理】大模型高效微调：PEFT 使用案例
将lora权重合并到原模型
the_3rd_bomb的博客
10-09 3237
lora权重合并代码
大模型开发和微调工具Llama-Factory--＞LoRA合并
weixin_46034279的博客
12-01 2701
当我们基于预训练模型训练好 LoRA 适配器后，我们不希望在每次推理的时候分别加载预训练模型和 LoRA 适配器，因此我们需要将预训练模型和 LoRA 适配器合并导出成一个模型。根据是否量化以及量化算法的不同，导出的配置文件有所区别。
LLM-微调：Peft库--get_peft_model()--＞在llm基座模型的基础上注入Lora模块（加载流程）【注入的Lora模块的初始参数是随机初始化的】
u013250861的博客
10-22 1760
【代码】LLM-微调：Peft库--get_peft_model()函数【在llm基座模型的基础上加载Lora模块（Lora模块的初始参数是随机初始化的）】
大模型 lora 训练后的权重合并
TFATS的博客
02-03 452
【代码】大模型 lora 训练后的权重合并。
Qwen 微调LoRA之后合并模型，使用 webui 测试
TuringEvo专栏
06-01 914
【代码】Qwen 微调LoRA之后合并模型，使用 webui 测试。
同时使用多个LoRA适配器与vLLM
XianxinMao的博客
12-30 616
在当今的人工智能领域，适应性强和高效的推理框架至关重要。本文将阐述如何在 vLLM 框架中同时利用多个 LoRA 适配器，以确保大语言模型（LLM）在不同任务之间切换时没有明显的延迟。
llama-7b lora微调方法
03-14
### Llama-7B 使用 LoRA 进行微调的方法 低秩适应（Low-Rank Adaptation, LoRA）是一种高效的参数高效迁移学习方法，它通过仅更新模型权重矩阵中的低秩分解部分来减少训练所需的计算资源和时间。这种方法特别适合大规模预训练模型的微调工作。 对于 Llama-7B 模型而言，在实际操作中可以采用如下方式完成基于 LoRA 的微调： #### 安装依赖库 为了支持 LoRA 微调功能，通常需要安装 `transformers` 和 `peft` 库。以下是安装命令： ```bash pip install transformers peft accelerate bitsandbytes ``` 这些工具提供了对 Hugging Face Transformers API 的扩展能力以及硬件优化的支持[^1]。 #### 数据准备 准备好用于微调的数据集，并将其转换成适配 Transformer 输入格式的形式。这一步可能涉及分词器初始化、文本编码等处理过程[^2]。 #### 配置环境变量 如果计划利用混合精度训练技术进一步提高效率，则需设置相应的 CUDA 环境配置项。例如启用 FP16 或 BF16 计算模式以降低显存消耗并加快收敛速度。 #### 编写脚本实现具体逻辑 下面是一个简单的 Python 脚本模板展示如何加载基础模型并通过 PEFT 工具箱定义 LoRA 参数化策略来进行后续训练流程的设计： ```python from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig import torch from peft import get_peft_config, PeftModel, TaskType, LoraConfig, prepare_model_for_int8_training model_name_or_path = "meta-llama/Llama-7b" tokenizer_name_or_path = "meta-llama/Llama-7b" bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16 ) tokenizer = AutoTokenizer.from_pretrained(tokenizer_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path, quantization_config=bnb_config, device_map={"":0}) peft_config = LoraConfig(task_type=TaskType.CAUSAL_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1) # Prepare the model for int8 training. model = prepare_model_for_int8_training(model) # Add LoRA adapters to the model. model = PeftModel.from_pretrained(model, "./path_to_lora_weights", config=peft_config) def print_trainable_parameters(model): """ Prints the number of trainable parameters in the model. """ trainable_params = 0 all_param = 0 for _, param in model.named_parameters(): num_params = param.numel() if num_params == 0 and hasattr(param, "ds_numel"): num_params = param.ds_numel all_param += num_params if param.requires_grad: trainable_params += num_params print(f"trainable params: {trainable_params} || all params: {all_param} || trainable%: {100 * trainable_params / all_param}") print_trainable_parameters(model) output_dir = "./results" training_arguments = TrainingArguments(output_dir=output_dir, ... ) trainer = Trainer( model=model, args=training_arguments, train_dataset=train_dataset, eval_dataset=val_dataset, tokenizer=tokenizer, data_collator=data_collator, ) model.config.use_cache = False # silence the warnings. Please re-enable for inference! trainer.train() model.save_pretrained("./lora-finetuned-model") ``` 上述代码片段展示了完整的端到端解决方案，涵盖了从加载原始大语言模型实例直到保存最终经过调整后的版本整个链条上各个重要环节的操作细节说明^。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值