LLM-微调：LoRA 模型合并与保存【将利用lora训练后的lora模型与基座模型合并，将新合并的模型用作独立模型】【可以将基座模型合并多个lora模型】【也可不合并模型，前向推理计算后再合并结果】

已于 2024-01-27 21:41:52 修改
阅读量3.7k 收藏 3
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 自然语言处理 语言模型
于 2023-10-22 21:31:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/133978538
版权
本文介绍了LoRA技术，用于大模型的低内存微调。通过低秩分解更新矩阵，减少训练参数，提升效率。LoRA模型可以合并，形成独立模型，甚至合并多个LoRA模型以处理不同任务，而不会显著增加推理延迟。同时，介绍了如何保存合并后的模型。
摘要由CSDN通过智能技术生成

一.引言 I. Introduction

LLM 使用过程中最常用方法之一就是通过 LoRA 基于自己的数据对大模型进行微调，本文简单介绍 LoRA 原理以及如何合并多个 LoRA 模型并保存。

peft==0.4.0
transformers==4.29.1

二.LoRA 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
Peft库使用技巧（一）：合并基座模型与Lora模型【使用Peft库微调基座模型（比如LLaMA-7B）后会得到Lora参数模块，将基座模型与Lora参数合并后才能得到完整的微调后的大模型】
u013250861的博客
07-01 2562
使用Peft库微调基座模型（比如LLaMA-7B）后会得到Lora参数模块，将基座模型与Lora参数合并后才能得到完整的微调后的大模型。
stable diffusion 模型和lora融合
liguandong
06-21 1068
接下来学习的插件名字叫做 SuperMerger，它的作用正如其名，可以融合大模型或者 LoRA，一般来说会结合之前的插件 LoRA Block Weight 使用，在调整完成 LoRA 模型的权重后使用改插件进行重新打包。实际上，目前市面上存在大量的 Checkpoint 模型都是经由合并这种方式得来，这类模型一般名字中都带有 Mix，如国内比较知名的作者GhostInShell: https://www.zhihu.com/peo。NONE是指原图，ALL是指LORA全开权重为1的图。
LLM - LoRA 模型合并与保存
热门推荐
BITDDD小栈
08-03 2万+
LoRA 模型 merge_and_unload 合并与保存。
LORA模型与基座大模型合并并由transformer的AutoModel推理
最新发布
victor_manches的博客
09-30 414
这里主要阐述的是Lora与LLM合并后，可以直接由Transformer的AutoModel去加载与推理。这里就不再赘述了，大概原理就是。
Qwen 微调LoRA之后合并模型，使用 webui 测试
TuringEvo专栏
06-01 624
【代码】Qwen 微调LoRA之后合并模型，使用 webui 测试。
利用多Lora节省大模型部署成本｜得物技术
SmartCodeTech的博客
08-20 2934
如何把多个大模型合并部署以节省成本呢？本文将深入探讨这一技术与应用场景，利用多Lora合并部署大模型。
ChatGLM3-6B本地部署LORA微调模型合并以及使用
weixin_42916154的博客
04-12 2090
IndexError: index out of range in self 原因是数据集太少了，增加数据集，或者修改为1。合并完成后直接使用的话要把Chatglm3-6B原始模型里面的几个Token文件复制到合并以后的文件夹中，不然会报错。用到其他调用方式的把模型地址替换一下就好了。运行代码python finetune_hf.py [数据集地址]finetune_hf.py，各种参数在lora.yaml文件中进行调整。'更换为自己的文件夹地址以及想用的提示词。将微调后的模型和原来的模型进行合并。
基于qlora训练后的大模型和原模型合并
weixin_41687218的博客
11-27 1974
基于qlora训练后的大模型和原模型合并
Qwen-VL大模型LoRA微调、融合及部署
songyang66的博客
07-19 2501
Qwen-VL大模型LoRA微调、融合及部署
基于大语言模型的LoRA微调及模型合并技术实践指南
North_D的博客
02-24 3528
模型合并主要涉及将多个LoRA模型的适配器参数有效地整合到一个统一的模型中，以便在一个模型上执行多种任务。
LLMs之llama_7b_qlora：源码解读export_hf_checkpoint.py模型权重合并文件)将LORA模型的权重合并回原始模型的权重(hf_llama_model+llama_7b
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-03 1951
​ LLMs之llama_7b_qlora：源码解读export_hf_checkpoint.py模型权重合并文件)将LORA模型的权重合并回原始模型的权重(hf_llama_model+llama_7b_qlora)，并保存到指定的检查点文件中 目录 利用export_hf_checkpoint.py(模型权重合并文件)将LORA模型的权重合并回原始模型的权重(hf_llama_model+llama_7b_qlora)，并保存到指定的检查点文件中 # 1、定义环境变量：BASE_MODEL、LOR
开源模型应用落地-qwen2-7b-instruct-LoRA微调&模型合并-LLaMA-Factory-单机多卡-RTX 4090双卡（六）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-16 1万+
使用LLaMA-Factory合并微调后的模型权重
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
丨汀、的博客
05-22 626
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
LLM-LLaMA：手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式；Step 2: 合并LoRA权重，生成全量模型权重】
u013250861的博客
06-25 3040
与原版llama模型离线转换为HF格式后的SHA256一致（已验证7B/13B/33B）。合并Chinese-Alpaca-Plus需要提供两个LoRA权重，分别为Chinese-LLaMA-Plus-LoRA和Chinese-Alpaca-Plus-LoRA。这一步骤会对原版LLaMA模型（HF格式）扩充中文词表，合并LoRA权重并生成全量模型权重。执行以下脚本（注意这个脚本路径指的是transformers的路径，不是本项目的目录）后，注意，不同模型的合并方式不同。指定的目录，其余文件放在。
开源模型应用落地-qwen2-7b-instruct-LoRA微调&合并-ms-swift-单机多卡-RTX 4090双卡（十五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-02 1万+
使用ms-swift合并微调后的模型权重
【转载】Stable Diffusion的Lora使用和训练（Stable Diffusion研习系列05）
Working harder, getting stronger!
03-12 268
总的来说，不宜也不需训练过长时间。这里注意，对每次训练的数据最好自己做个文档记录，记录主要的参数设置，作为之后测试模型效果后进行训练参数调整的参考依据（我自己记录的主要参数有：训练集照片数量、Num值、epoch、Dim值、Alpha值、batch size，学习率和采样器都还是默认的，之后深入学习后可以尝试）。我们这里介绍的是传统的LoRa模型的训练方式和参数，你们可能会看到不少不同的参数和训练方式的内容，那是或许是不同的细分模型类型的不同，微调技术的分类和其算法不同，但训练步骤和环节都基本差不多。
LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型 简单案例
weixin_42357472的博客
05-09 6529
lore模型训练 参考：https://github.com/huggingface/peft。
LLM微调系列——Qwen微调教程
趋吉避凶的博客
02-04 4074
作者在微调Qwen时遇到的一些坑以及一点经验 作者在微调Qwen时遇到的一些坑以及一点经验。
一文读懂：LoRA实现大模型LLM微调
weixin_42010722的博客
06-08 1万+
在深度学习中，权重矩阵通常具有完整秩，这意味着权重矩阵的行或列之间没有线性相关关系，也就是说，每个权重在模型中承担了不同的作用，没有冗余。权重矩阵具有完整秩的好处是，模型可以通过学习到的权重进行准确的预测和分类。通过使用低秩矩阵，我们可以降低参数的数量，减少计算和存储的开销，并且仍然保留了大部分原始权重矩阵的关键信息。因此，虽然预训练模型的权重在预训练任务中具有完整秩，但LoRA的作者指出，当预训练的大型语言模型适应新任务时，其固有维度很低，这是根据Aghajanyan等人的研究（2020）得出的。
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值