大模型lora训练、权重保存、训练方法与完整训练代码(基于llama模型)

最新推荐文章于 2025-03-29 22:15:06 发布

tangjunjun-owen

最新推荐文章于 2025-03-29 22:15:06 发布

阅读量575

点赞数 1

分类专栏：大语言模型教程(基于llama模型) 文章标签： llama 人工智能 lora训练 huggingface

本文链接：https://blog.csdn.net/weixin_38252409/article/details/143229145

版权

大语言模型教程(基于llama模型) 专栏收录该内容

15 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

文章目录

前言
一、构建lora训练模式
- 1、调用代码
- 2、构建lora模型代码
二、huggingface训练
三、权重保存(end）
四、llama训练完整代码

前言

本篇文章介绍lora训练与huggingface训练源码构建，以及权重保存、数据格式与完整训练代码内容！

一、构建lora训练模式

1、调用代码

这步较为简单，我们构建lora，只需调用peft库，可帮忙实现。我这里也给出了lm_head是否训练方法，具体代码如下：

if training_args.use_lora: # 使用lora模型梯度即使是True也会会变成False，只有lora变量为True
   model = load_lora_mode(model,training_args,device_map

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

tangjunjun-owen

关注关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

第十四章：huggingface的LoRA原理与相关文件保存方法

weixin_38252409的博客

06-14

818

在huggingface中，很多情况是使用LoRA方法来训练模型。有关LoRA训练获得权重与加载，以及如何LoRA继续resume训练等问题，尚未有一个较好文章说明。因此，本文将详细说明LoRA相关内容。首先介绍了LoRA（Low-Rank Adaptation）的原理及相关内容；其次也对训练相关各种模型权重、LoRA权重、配置文件、优化器、调度器以及训练器状态和随机状态保存方法；接着给出了关于LoRA训练与恢复方法Demo与介绍，包括LoraConfig配置文件介绍和PEFT的LoRA训练；

模型全参数训练和LoRA微调所需显存的分析

最新发布

作者正在煮茶中...

03-29

815

这里定义了一个名为LoRALayer的类，继承自 nn.Moudle，这是 PyTorch 中所有神经网络模块的基类。__init__方法是初始化函数，接收输入维度 in_dim、输出维度 out_dim，以及可选的秩 rank 和缩放因子 alpha 参数。super().__init__() 调用了父类的初始化方法，再将 alpha 和 rank 存储为实例变量。接着定义两个可训练的参数矩阵 lora_A 和 lora_B，lora_A的形状为 (rank, in_dim)，

最简单的Lora训练代码

谁怕平生太急

07-19

825

【代码】最简单的Lora训练代码。

训练Lora

popoala的专栏

03-23

1177

lora使用

在window平台大模型LoRA微调实战（完整代码带数据）

qyhua的专栏

07-24

3589

本次微调最开始是打算使用Qwen/Qwen-1_8B-Chat的模型作为微调对象，调试过程中不断报GPU显存不够，该模型需要的显存超过12G，因此后面改用 Qwen/Qwen1.5-0.5B-Chat 模型。这里的注意力投影与多层感知的层作是："c_attn", "c_proj", "w1", "w2"从上面对比图可以看出，微调后的回答的答案与模型合并的模型都差不多效果，比较准确。微调前回复答案明显多了一些不像关键字的没有微调后的好，说明确实有效果。方法保存微调后的模型到指定目录。我们调整大模型哪些层，

【llm 微调code-llama 训练自己的数据集一个小案例】

放飞自我的coder

01-19

5257

微调coda-llama-7b 训练自己的数据集。jsonl格式，三个字段：context, answer, question。

Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（六）Llama 3 已训练的大模型合并LoRA权重参数

段智华的博客

05-24

830

1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。

LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南

丨汀、的博客

05-22

933

LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南

第十一节 LLAVA模型lora训练(包含lora权重预加载与源码解读)

weixin_38252409的博客

05-09

1392

前面文章，基本已经给出LLaVA的推理相关内容，也给出相应训练等命令内容，以及相关权重等查看与比较内容。却没有与训练相关源码解读。为此，本篇文章介绍LLaVA模型是如何构建model，也是如何加载相应权重内容。我将会结合源码，详细梳理。我相信，看了此篇文章将不在为模型训练而困惑，也能帮助读者进一步理解源码，以此作为基准，方便后续对模型更改或使用其它架构大模型。当然，后面会涉及到很多与huggingface的trainer相关内容，我也会在后面篇章中给与介绍。

LLM - LoRA 模型合并与保存

BITDDD小栈

08-03

2万+

LoRA 模型 merge_and_unload 合并与保存。

LoRa模型训练教程（炼丹，Stable Diffusion）

heiyumiao的博客

07-19

2万+

何为LoRA？LoRA并不是扩散模型专有的技术，而是从隔壁语言模型（LLM）迁移过来的，旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖，比如最近新出的GPT-4参数量约为100 万亿。LoRA采用的方式是向原有的模型中插入新的数据处理层，这样就避免了去修改原有的模型参数，从而避免将整个模型进行拷贝的情况，同时其也优化了插入层的参数量，最终实现了一种很轻量化的模型调校方法。

tiny-llama 训练教程

weixin_41804613的博客

09-23

372

训练一个tiny-llama

AI大模型企业应用实战：Prompt让LLM理解知识

2401_84204413的博客

06-25

2582

lora 简单代码复现

m0_46221545的博客

07-17

292

【代码】lora 简单代码复现。

LoRA实现

weixin_45725336的博客

08-06

527

来动态地修改模型，插入LoRA层。

（徒手搓LLM）逐行代码从0构造一个LLM——LlaMa篇

python1234_的博客

10-28

960

使用均值和方差计算数据的标准差，这样既保留了数据的异常值，同时维持数据的异常结构，这样可以稳定梯度，让梯度变化更稳定，减少梯度消失或者爆炸的问题，因为维持了异常结构，也能减少过拟合问题，增强泛化能力。好的，基本上就是这样，有了主干部分，剩下策略部分，或者增加其他算子，只要遵循结构，没什么不可以的。OK，到这里构造一个简单的Seq2seq模型，完毕，还是希望对上面的代码跑一下，理解一下，按行自行分析一下，如果有搞不清楚的，打印一下shape，看一下数据形状如何变换的。说它好吧，它的计算量确实挺大。

LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 2

qq_51957239的博客

05-19

6013

大型语言模型（LLMs）作为高度能力的人工智能助手，在需要跨多个领域专家知识的复杂推理任务中表现出巨大潜力，包括编程和创意写作等专业领域。它们通过直观的聊天界面与人类互动，这导致了快速和广泛的公众采用。考虑到训练方法的看似简单性，LLMs 的能力令人瞩目。自回归变压器首先在大量自监督数据上进行预训练，然后通过强化学习与人类反馈（RLHF）等技术与人类偏好对齐。尽管训练方法简单，但高计算需求限制了 LLMs 的开发，仅由少数参与者进行。

llama-factory llm - lora 模型合并与保存

11-18

llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。