大模型开发和微调工具Llama-Factory--＞LoRA合并

最新推荐文章于 2025-04-02 14:58:40 发布
最新推荐文章于 2025-04-02 14:58:40 发布
阅读量2.5k 收藏 11
点赞数 8
分类专栏： 大模型微调之Llama-Factory 文章标签： 人工智能 深度学习 llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46034279/article/details/144169251
版权

LoRA 合并

当我们基于预训练模型训练好 LoRA 适配器后，我们不希望在每次推理的时候分别加载预训练模型和 LoRA 适配器，因此我们需要将预训练模型和 LoRA 适配器合并导出成一个模型。根据是否量化以及量化算法的不同，导出的配置文件有所区别。

1.指令

可以通过  llamafactory-cli export merge_config.yaml 来合并模型。其中 merge_config.yaml 需要根据不同的情况进行配置。

2.量化

量化通过数据精度压缩有效的减少了显存使用并加速推理。LLaMA- Factory 支持多种量化方法，包括

  • AQLM
  • AWQ
  • GPTQ
  • QLoRA
  • …

1.后训练量化方法

GPTQ 等**后训练量化方法(Post Training Quantization)**是一种在训练后对预训练模型进行量化的方法。

我们通过量化技术将高精度表示的预训练模型转换为低精度的模型，从而在避免过多损失模型性能的情况下减少显存占用并加速推理，我们希望低精度数据类型在有限的表示范围内尽可能地接近高精度数据类型的表示，

因此我们需要指定量化位数 export_quantization_bit 以及校准数据集 export_quantization_dataset。

在进行模型合并时，请指定：

  • model_name_or_path: 预训练模型的名称或路径
  • template: 模型模板
  • export_dir: 导出路径
  • export_quantization_bit: 量化位数
  • export_quantization_dataset: 量化校准数据集
  • export_size: 最大导出模型文件大小
  • export_device: 导出设备
  • export_legacy_format: 是否使用旧格式导出

配置文件实例

### examples/merge_lora/llama3_gptq.yaml
### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
template: llama3

### export
export_dir: models/llama3_gptq
export_quantization_bit: 4
export_quantization_dataset: data/c4_demo.json
export_size: 2
export_device: cpu
export_legacy_format: false

2.QLoRA

QLoRA 是一种在 4-bit 量化模型基础上使用 LoRA 方法进行训练的技术。它在极大地保持了模型性能的同时大幅减少了显存占用和推理时间。

不要使用量化模型或设置量化位数 quantization_bit

### examples/merge_lora/llama3_q_lora.yaml
### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora

### export
export_dir: models/llama3_lora_sft
export_size: 2
export_device: cpu
export_legacy_format: false

3.合并

examples/merge_lora/llama3_lora_sft.yaml 提供了合并时的配置示例

### examples/merge_lora/llama3_lora_sft.yaml
### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora

### export
export_dir: models/llama3_lora_sft
export_size: 2
export_device: cpu
export_legacy_format: false

Note

  • 模型 model_name_or_path 需要存在且与 template 相对应。
  • adapter_name_or_path 需要与微调中的适配器输出路径 output_dir 相对应。
  • 合并 LoRA 适配器时，不要使用量化模型或指定量化位数。您可以使用本地或下载的未量化的预训练模型进行合并。
LLM-微调：LoRA 模型合并与保存【将利用lora训练后的lora模型与基座模型合并，将新合并的模型用作独立模型】【可以将基座模型合并多个lora模型】【也可不合并模型，前向推理计算后再合并结果】
u013250861的博客
10-22 4548
虽然 LoRA 明显更小，训练速度更快，但由于分别加载基本模型和 LoRA 模型，可能会在推理过程中遇到延迟问题。为了消除延迟，可以使用 merge_and_unload 函数将适配器权重与基本模型合并，这样可以有效地将新合并的模型用作独立模型。LoRA 模型中可训练参数的结果数量取决于低秩更新矩阵的大小，其主要由秩 r 和原始权重矩阵的形状确定。通过 merge_and_unlaod 方法可以合并多个 Lora 模型，这里博主尝试将同一个模型的 3 个 CKPT 合并至原始模型中。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-21 8268
使用LLaMA-Factory高效微调qwen2-7b-instruct
使用LLaMA-Factory微调大模型_llamafactory lora 合并
月流霜的专栏
08-27 469
但是占用显存较多，显存是缓慢上升的过程，到二十多步的时候就开始爆了。启用webui共有两种方式，一种是直接启动，一种是通过docker启动。使用的GPU 第一块卡，刚开始的时候 批处理设置的太大，容易造成显卡内存溢出，根据自己的实际情况设置。接下来又问了一句”鲁迅可以打周树人吗“，回答是没有问题，就是速度慢了点，右边还有很多的参数可以调整。③使用stage=3的时候，每step 40s，刚开始使用显存很少，第一步也直接爆了。等待模型训练完成之后就可以使用，不过也可以直接运行开源的模型。2.使用webui。
LoRA、QLoRA微调与Lama Factory
最新发布
qq_36792999的博客
04-02 1220
1.什么是LoRA 2.LoRA的核心思想 3.LoRA的原理 4.LLaMA-Factory介绍 5.安装LLaMa-Factory 6.使用LLaMaFactory自带的数据集进行LoRA微调 7.LORA指令微调-单轮对话 8.模型合并量化导出 9.通过OpenWebUl部署模型 10.QLoRA指令微调-多轮对话 11.对话模板 12.GGUF
LoRA适配器合并风险与量化影响
XianxinMao的博客
03-08 516
在4位量化的LLM中直接合并LoRA适配器会导致模型性能显著下降，主要原因是LoRA适配器的参数在合并过程中会被量化，而这些参数并非“量化感知”，导致模型输出质量不可预测。LoRA适配器在训练时以16位精度优化，而4位量化的LLM以4位精度存储，这种精度不匹配使得合并后的模型性能表现不稳定。实验表明，直接合并会导致模型困惑度显著增加，建议将LoRA适配器保持在基模型之上，而非直接合并，以避免性能损失。
大模型微调实战：LLaMAFactory结合LoRA，轻松修改模型自我认知！
2401_85375151的博客
12-14 905
本文主要分享如何使用 LLaMAFactory 实现大模型微调，基于 Qwen1.5-1.8B-Chat 模型进行 LoRA 微调，修改模型自我认知。本文的一个目的：基于模型进行微调，修改模型自我认证。修改前对于模型，用户问你是谁？时模型一般会回答我们希望在微调之后，对于同样的问题，模型能回答。
LlamaFactory Lora 合并大模型,GGUF 转换与 Ollama 部署Open_WebUI全流程
weixin_42745482的博客
01-23 1842
使用ollama create命令创建自定义模型```![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1c17d68d882e47ab9c6ab056bdda6e00.png)## 3.5 运行模型。
LLaMA-Factory微调llama3之模型的合并，并采用llama.cpp量化成ollama支持的gguf格式模型，生成api使用
猪神-PIGGOD
08-08 7011
上期我们已经成功的训练了模型，让llama3中文聊天版知道了自己的名字这次我们从合并模型开始，然后使用llama.cpp量化成gguf格式，并且调用api。
LLM - LoRA 模型合并与保存
热门推荐
BITDDD小栈
08-03 2万+
LoRA 模型 merge_and_unload 合并与保存。
将lora权重合并到原模型
the_3rd_bomb的博客
10-09 3032
lora权重合并代码
lora_adapter 模型和原模型合并成一个模型
高颜值的杀生丸(此博客转载自我的博客园)
05-31 1236
lora 部分合并到原模型参数上 import torch from peft import PeftModel from transformers import AutoTokenizer, AutoModelForCausalLM, LlamaTokenizer from transformers.generation.utils import GenerationConfig de...
大模型开发和微调工具Llama-Factory--＞WebUI
m0_74823705的博客
12-25 885
训练阶段，可选: rm(reward modeling), pt(pretrain), sft(Supervised Fine-Tuning), PPO, DPO, KTO, ORPO。该配置制定了模型参数，微调方法参数、数据集参数以及评估参数等。如果您对模型效果满意并需要导出模型，您可以在导出界面通过指定。模型训练完毕后，您可以通过在评估与预测界面通过指定。数据集模板，请保证数据集模板与模型相对应。使用的数据集，使用”,”分隔多个数据集。如果您需要使用自定义数据集，请在。的路径在指定数据集上进行评估。
开源模型应用落地-qwen2-7b-instruct-LoRA微调&模型合并-LLaMA-Factory-单机多卡-RTX 4090双卡（六）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-16 2万+
使用LLaMA-Factory合并微调后的模型权重
开源模型应用落地-qwen2.5-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（十八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-25 2万+
使用LLaMA-Factory高效微调qwen2.5-7b-instruct
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 2858
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
LORA模型与基座大模型合并并由transformer的AutoModel推理
victor_manches的博客
09-30 977
这里主要阐述的是Lora与LLM合并后，可以直接由Transformer的AutoModel去加载与推理。这里就不再赘述了，大概原理就是。
ChatGLM3-6B本地部署LORA微调模型合并以及使用
weixin_42916154的博客
04-12 2266
IndexError: index out of range in self 原因是数据集太少了，增加数据集，或者修改为1。合并完成后直接使用的话要把Chatglm3-6B原始模型里面的几个Token文件复制到合并以后的文件夹中，不然会报错。用到其他调用方式的把模型地址替换一下就好了。运行代码python finetune_hf.py [数据集地址]finetune_hf.py，各种参数在lora.yaml文件中进行调整。'更换为自己的文件夹地址以及想用的提示词。将微调后的模型和原来的模型进行合并。
llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署
jieshenai的博客
04-12 1万+
本文为 llama-factory SFT系列教程的第二篇；实现了在自定义数据集上 lora 微调大模型；接着融合lora权重进行大模型推理的功能
大模型 lora 训练后的权重合并
TFATS的博客
02-03 426
【代码】大模型 lora 训练后的权重合并。
llamafactory合并gguf
01-14
### 整合 LlamaFactory 和 GGUF #### 安装必要的库和支持工具 为了使 LlamaFactory 支持 GGUF 文件格式，首先需要安装支持该文件类型的库。GGUF 是一种用于存储神经网络权重和其他元数据的二进制文件格式。 ```bash pip install gguf-transformers ``` 此命令将安装 `gguf-transformers` 库，它扩展了 Hugging Face Transformers 的功能以处理 GGUF 文件[^1]。 #### 修改配置文件以适应 GGUF 输入 对于 LlamaFactory 中使用的 YAML 配置文件（如 `llama3_lora_sft.yaml`），可以调整参数来指定加载来自 GGUF 文件的数据路径： ```yaml model: pretrained_model_name_or_path: /path/to/gguf/model.gguf ``` 这允许通过修改配置文件中的路径指向特定的 GGUF 模型文件来进行微调或其他操作。 #### 转换现有模型至 GGUF 格式 如果已有训练好的 LLaMA 模型并希望将其转换成 GGUF 格式，则可以通过如下 Python 脚本完成这一过程: ```python from gguf_transformers.convert import convert_to_gguf_format convert_to_gguf_format( input_model="meta-llama/LLaMA-13B", output_file="./converted_llama.gguf" ) ``` 这段代码展示了如何利用 `gguf_transformers` 提供的功能将标准的 PyTorch 或 TensorFlow 模型保存为 GGUF 文件。 #### 设置代理地址以便远程访问 当涉及到分布式计算环境时，可能还需要设置合适的 API 地址作为代理服务器，从而简化与其他服务之间的通信流程。例如，在某些情况下可能会这样做： ```python import os os.environ['MODEL_API_URL'] = 'http://your.llamafactory.proxy' ``` 这样做的好处是可以让多个客户端更容易地连接到同一个 LLaMA 实例上执行推理任务[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值