大模型开发和微调工具Llama-Factory--＞LoRA合并

最新推荐文章于 2025-03-22 16:50:17 发布
最新推荐文章于 2025-03-22 16:50:17 发布
阅读量2.7k 收藏 11
点赞数 8
分类专栏： 大模型微调之Llama-Factory 文章标签： 人工智能 深度学习 llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46034279/article/details/144169251
版权

LoRA 合并

当我们基于预训练模型训练好 LoRA 适配器后，我们不希望在每次推理的时候分别加载预训练模型和 LoRA 适配器，因此我们需要将预训练模型和 LoRA 适配器合并导出成一个模型。根据是否量化以及量化算法的不同，导出的配置文件有所区别。

1.指令

可以通过  llamafactory-cli export merge_config.yaml 来合并模型。其中 merge_config.yaml 需要根据不同的情况进行配置。

2.量化

量化通过数据精度压缩有效的减少了显存使用并加速推理。LLaMA- Factory 支持多种量化方法，包括

  • AQLM
  • AWQ
  • GPTQ
  • QLoRA
  • …

1.后训练量化方法

GPTQ 等**后训练量化方法(Post Training Quantization)**是一种在训练后对预训练模型进行量化的方法。

我们通过量化技术将高精度表示的预训练模型转换为低精度的模型，从而在避免过多损失模型性能的情况下减少显存占用并加速推理，我们希望低精度数据类型在有限的表示范围内尽可能地接近高精度数据类型的表示，

因此我们需要指定量化位数 export_quantization_bit 以及校准数据集 export_quantization_dataset。

在进行模型合并时，请指定：

  • model_name_or_path: 预训练模型的名称或路径
  • template: 模型模板
  • export_dir: 导出路径
  • export_quantization_bit: 量化位数
  • export_quantization_dataset: 量化校准数据集
  • export_size: 最大导出模型文件大小
  • export_device: 导出设备
  • export_legacy_format: 是否使用旧格式导出

配置文件实例

### examples/merge_lora/llama3_gptq.yaml
### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
template: llama3

### export
export_dir: models/llama3_gptq
export_quantization_bit: 4
export_quantization_dataset: data/c4_demo.json
export_size: 2
export_device: cpu
export_legacy_format: false

2.QLoRA

QLoRA 是一种在 4-bit 量化模型基础上使用 LoRA 方法进行训练的技术。它在极大地保持了模型性能的同时大幅减少了显存占用和推理时间。

不要使用量化模型或设置量化位数 quantization_bit

### examples/merge_lora/llama3_q_lora.yaml
### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora

### export
export_dir: models/llama3_lora_sft
export_size: 2
export_device: cpu
export_legacy_format: false

3.合并

examples/merge_lora/llama3_lora_sft.yaml 提供了合并时的配置示例

### examples/merge_lora/llama3_lora_sft.yaml
### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora

### export
export_dir: models/llama3_lora_sft
export_size: 2
export_device: cpu
export_legacy_format: false

Note

  • 模型 model_name_or_path 需要存在且与 template 相对应。
  • adapter_name_or_path 需要与微调中的适配器输出路径 output_dir 相对应。
  • 合并 LoRA 适配器时，不要使用量化模型或指定量化位数。您可以使用本地或下载的未量化的预训练模型进行合并。
LLM-微调：LoRA 模型合并与保存【将利用lora训练后的lora模型与基座模型合并，将新合并的模型用作独立模型】【可以将基座模型合并多个lora模型】【也可不合并模型，前向推理计算后再合并结果】
u013250861的博客
10-22 4609
虽然 LoRA 明显更小，训练速度更快，但由于分别加载基本模型和 LoRA 模型，可能会在推理过程中遇到延迟问题。为了消除延迟，可以使用 merge_and_unload 函数将适配器权重与基本模型合并，这样可以有效地将新合并的模型用作独立模型。LoRA 模型中可训练参数的结果数量取决于低秩更新矩阵的大小，其主要由秩 r 和原始权重矩阵的形状确定。通过 merge_and_unlaod 方法可以合并多个 Lora 模型，这里博主尝试将同一个模型的 3 个 CKPT 合并至原始模型中。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-21 8321
使用LLaMA-Factory高效微调qwen2-7b-instruct
将lora权重合并到原模型
the_3rd_bomb的博客
10-09 3289
lora权重合并代码
基于peft的lora进行模型qwen0.5的微调、合并、转换为.gguf
最新发布
hnmpf的博客
03-22 1222
2、解压后切换到../../llama.cpp-master/ 目录下执行 cmd 并运行 pip install requirements.txt 即可等待安装（注意：这个操作可能会影响到你的已有程序的依赖，由于本人没有采用python 虚拟环境，故出现了依赖问题，最后 升级pytorch--gpu来修复的，因为这个脚本会默认将当前环境的pytorch 切换为 pytorch--cpu）现在我们微调后的模型属于自己的本地模型，如果想要做后续的量化或者使用ollam进行部署就有必要进行格式转换。
LlamaFactory Lora 合并大模型,GGUF 转换与 Ollama 部署Open_WebUI全流程
weixin_42745482的博客
01-23 1992
使用ollama create命令创建自定义模型```![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1c17d68d882e47ab9c6ab056bdda6e00.png)## 3.5 运行模型。
LLM - LoRA 模型合并与保存
热门推荐
BITDDD小栈
08-03 2万+
LoRA 模型 merge_and_unload 合并与保存。
使用LLaMA-Factory微调大模型_llamafactory lora 合并
月流霜的专栏
08-27 495
但是占用显存较多，显存是缓慢上升的过程，到二十多步的时候就开始爆了。启用webui共有两种方式，一种是直接启动，一种是通过docker启动。使用的GPU 第一块卡，刚开始的时候 批处理设置的太大，容易造成显卡内存溢出，根据自己的实际情况设置。接下来又问了一句”鲁迅可以打周树人吗“，回答是没有问题，就是速度慢了点，右边还有很多的参数可以调整。③使用stage=3的时候，每step 40s，刚开始使用显存很少，第一步也直接爆了。等待模型训练完成之后就可以使用，不过也可以直接运行开源的模型。2.使用webui。
LLaMA-Factory微调llama3之模型的合并，并采用llama.cpp量化成ollama支持的gguf格式模型，生成api使用
猪神-PIGGOD
08-08 7274
上期我们已经成功的训练了模型，让llama3中文聊天版知道了自己的名字这次我们从合并模型开始，然后使用llama.cpp量化成gguf格式，并且调用api。
lora_adapter 模型和原模型合并成一个模型
高颜值的杀生丸(此博客转载自我的博客园)
05-31 1288
lora 部分合并到原模型参数上 import torch from peft import PeftModel from transformers import AutoTokenizer, AutoModelForCausalLM, LlamaTokenizer from transformers.generation.utils import GenerationConfig de...
LORA模型与基座大模型合并并由transformer的AutoModel推理
victor_manches的博客
09-30 1078
这里主要阐述的是Lora与LLM合并后，可以直接由Transformer的AutoModel去加载与推理。这里就不再赘述了，大概原理就是。
ChatGLM3-6B本地部署LORA微调模型合并以及使用
weixin_42916154的博客
04-12 2274
IndexError: index out of range in self 原因是数据集太少了，增加数据集，或者修改为1。合并完成后直接使用的话要把Chatglm3-6B原始模型里面的几个Token文件复制到合并以后的文件夹中，不然会报错。用到其他调用方式的把模型地址替换一下就好了。运行代码python finetune_hf.py [数据集地址]finetune_hf.py，各种参数在lora.yaml文件中进行调整。'更换为自己的文件夹地址以及想用的提示词。将微调后的模型和原来的模型进行合并。
大模型开发和微调工具Llama-Factory--＞WebUI
m0_74823705的博客
12-25 951
训练阶段，可选: rm(reward modeling), pt(pretrain), sft(Supervised Fine-Tuning), PPO, DPO, KTO, ORPO。该配置制定了模型参数，微调方法参数、数据集参数以及评估参数等。如果您对模型效果满意并需要导出模型，您可以在导出界面通过指定。模型训练完毕后，您可以通过在评估与预测界面通过指定。数据集模板，请保证数据集模板与模型相对应。使用的数据集，使用”,”分隔多个数据集。如果您需要使用自定义数据集，请在。的路径在指定数据集上进行评估。
开源模型应用落地-qwen2-7b-instruct-LoRA微调&模型合并-LLaMA-Factory-单机多卡-RTX 4090双卡（六）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-16 2万+
使用LLaMA-Factory合并微调后的模型权重
开源模型应用落地-qwen2.5-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（十八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-25 2万+
使用LLaMA-Factory高效微调qwen2.5-7b-instruct
大模型微调工具LLaMA-Factory docker安装、大模型lora微调训练
weixin_42357472的博客
06-03 1175
参考：报错解决：1）Docker 构建报错 RuntimeError: can’t start new thread：参考：https://github.com/triton-inference-server/server/issues/5931暂时加 --privileged解决。
llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署
jieshenai的博客
04-12 1万+
本文为 llama-factory SFT系列教程的第二篇；实现了在自定义数据集上 lora 微调大模型；接着融合lora权重进行大模型推理的功能
大模型 lora 训练后的权重合并
TFATS的博客
02-03 464
【代码】大模型 lora 训练后的权重合并。
使用LLaMA-Factory微调大模型
weixin_29520441的博客
05-31 1362
使用LLaMA-Factory微调大模型
Qwen 微调LoRA之后合并模型，使用 webui 测试
TuringEvo专栏
06-01 920
【代码】Qwen 微调LoRA之后合并模型，使用 webui 测试。
llama-factory lora微调
01-04
### 使用 llama-factory 进行 LoRA 微调 #### 准备工作 为了使用 `llama-factory` 对大模型进行LoRA微调，需先安装必要的依赖库并准备数据集。确保环境已配置好Python以及PyTorch等基础框架。 ```bash pip install git+https://github.com/your-repo/llama-factory.git@main ``` #### 数据预处理 针对不同的应用场景调整数据格式至关重要。实践中发现仅将问题置于instruction字段而留空input的效果不佳[^3]。更有效的做法是让用户输入位于input部分，同时利用instruction提供上下文或指导说明。 #### 启动WebUI界面 对于初次使用者来说，通过图形化的WebUI来操作可能更加直观便捷。启动命令如下： ```bash python -m llama_factory.webui ``` 这一步骤能够简化参数设置过程，并允许实时监控训练进度[^2]。 #### 配置文件设定 创建一个JSON格式的配置文件用于指定训练细节，如学习率、批次大小等超参。下面是一个简单的例子： ```json { "model_name": "qwen-1.5-7b-chat", "dataset_path": "./data/my_dataset.jsonl", "output_dir": "./results/", "learning_rate": 5e-5, "per_device_train_batch_size": 8, "num_train_epochs": 3, "logging_steps": 10, "save_strategy": "epoch" } ``` #### 开始微调流程 最后执行具体的微调指令，在此之前确认所有路径指向正确无误。运行以下脚本即可开始训练: ```bash python -m llama_factory.train \ --config ./path_to_config/config.json ``` 在此过程中，损失函数通常选用交叉熵损失(CrossEntropyLoss)，其指数形式即为困惑度(perplexity)[^1]。该指标可用于评估模型性能变化情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值