大模型ChatGLM Lora微调的参数详探- 多卡版本

最新推荐文章于 2025-03-11 22:24:01 发布
最新推荐文章于 2025-03-11 22:24:01 发布
阅读量3.5k 收藏 7
点赞数 1
分类专栏： LLM大语言模型 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/131542680
版权

多显卡训练深度学习，nvidia-smi中有一个volatile gpu util，现在batch size很小，显存很充足，volatile gpu util已经能达到很充足很高的利用率。现在有必要加大batch size的数量吗？ 为什么加大batch size之后xxit/s这个数值反而变小了，你知道这个数值是什么意思嘛？是不是每条数据/s的意思？

在深度学习训练中，batch size的设置是一个很重要的超参数。以下是对于你问题的一些回答：

  1. 首先，volatile gpu util表示的是GPU的计算资源利用率，而不是显存利用率。它越高，代表GPU的计算能力被更好地利用了。在你的情况下，这个指标已经很高，说明你的GPU计算能力已经被很好地利用。

  2. 那么是否还需要增大batch size呢？这并不是一个简单的问题，因为batch size的大小会影响模型的学习效果。如果你的模型已经能够达到你期望的精度，那么没有必要增大batch size。但是，如果你想要尝试提高模型的精度，可能需要试验不同的batch size。

  3. 你提到xxit/s这个数值反而变小了，这个数值通常代表每秒处理的迭代次数或者说批次数。增大batch size后，因为每一次迭代需要处理更多的数据，所以迭代速度可能会变慢，导致

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Lora微调训练参数解读
golfxiao的专栏
08-27 5063
通过前面两次微调训练欺诈文本分类微调（六）：Lora单卡和欺诈文本分类微调（七）—— lora单卡二次调优，我们已经初步理解了微调的整个过程，里面涉及到不少的参数配置，这篇文章就对前面用到过的参数作一个基本的梳理和总结。
ChatGLM LoRA微调实战方案
热门推荐
herosunly的博客
04-28 17万+
本文主要介绍了ChatGLM LoRA微调实战方案，希望对学习大语言模型的同学们有所帮助。微调后的推理截图如下所示。 文章目录 0. 简介 1. 安装虚拟环境 2. 下载文件 2.1 下载源代码 2.2 下载模型依赖文件 2.3 下载模型文件 3. 安装依赖库 4. LoRA微调 4.1 下载源代码 4.2 数据格式转换 4.3 tokenize 4.4 微调 5. 推理
多少数据微调LLM模型才有意义？记录一次微调ChatGLM3-6B模型
YELLOWAUG的博客
05-18 2162
到底需要在什么样的场景下对大模型进行微调
LoRA：参数高效微调的优雅之道（底层代码解析）
阿正的梦工坊
03-11 1591
很细致的原理和代码分析
大模型微调技术 --＞ LoRA 系列之 LoRA(现今最火热的模型微调方法，甚至没有之一，下面有常用的 lora 参数)
weixin_46034279的博客
11-07 3843
"r": 8,# 起始rank"alpha": 8,# 与rank相同"dropout": 0.1,# 默认dropout"target_modules": ["q_proj", "v_proj"]# 基础配置Step 1: 先固定其他参数,调整 rank 和 alphaStep 2: 确定最优 rank 后,可以尝试增加 target modulesStep 3: 如果还不够好,可以调整 dropout 或 学习率rank 设置过大可能导致显存不足。
Swift常用Lora微调参数以及常用值（个人参考用）
qq_39257634的博客
07-24 1253
【代码】Swift常用Lora微调参数以及常用值。
lora微调/(sft、lora、p-tuning、freeze四种典型微调方法)
Msc30839573的博客
03-30 3566
参考。
LoRA微调模型结构可训参数和配置详解
weixin_42924890的博客
09-07 1668
1、构建一个简单的两层线性网络，加relu激活函数，在第一层Linear中使用LoRA策略，打印看下模型结构。复习Lora在第一层Lnear网络的结构，即在第一层旁增加lora策略。 2、打印原始网络结构中可训练的参数和LoRA策略下的参数量。 3、LoraConfig类的一些参数解释
大模型微调系列之LoRA详解
qq_48717745的博客
09-08 5059
本文针对大模型微调方法LoRA的原论文对其原理进行了详细解读。
chatglm使用lora进行模型微调训练
06-24
chatglm使用lora进行模型微调训练，没有采用官方的方案，使用了另一种效果好的方案，对于显存特别友好，24g显存就能训练自己的垂直领域大模型训练了，效果还是非常的好的，适合自己机器不是很多的需要做实验的同学
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-01 3932
使用ms-swift高效微调qwen2-7b-instruct
LLM-04 大模型 15分钟 FineTuning 微调 ChatGLM3-6B（准备环境） 3090 24GB实战 需22GB显存 LoRA微调 P-TuningV2微调
永远好奇，无限进步！
04-19 1万+
- SFT 全量微调: 4张显卡平均分配，每张显卡占用 48346MiB 显存。 - P-TuningV2 微调: 1张显卡，占用 18426MiB 显存。 - LORA 微调: 1张显卡，占用 14082MiB 显存。 ChatGLM3是由智谱AI和清华大学KEG实验室联合开发的一款新一代对话预训练模型。这个模型是ChatGLM系列的最新版本，旨在提供更流畅的对话体验和较低的部署门槛。ChatGLM3-6B是该系列中的一个开源模型，它继承了前两代模型的优秀特性，并引入了一些新的功能和改进。
构建大型语言模型（从零开始）使用LoRA进行参数高效微调
2401_84204413的博客
02-10 792
低秩自适应 （LoRA） 是参数高效微调中使用最广泛的技术之一。以下讨论基于第六章中给出的垃圾邮件分类微调示例。但是， LoRA 微调也适用于第七章中讨论的监督指令微调。E.1 LoRA简介LoRA 是一种技术，它通过仅调整模型权重参数的一小部分来调整预训练模型以更好地适应特定的、通常较小的数据集。“低秩”方面是指将模型调整限制在总权重参数空间的较小维度子空间的数学概念。这有效地捕获了训练期间权重参数变化的最有影响力的方向。
(附数据集)基于lora参数微调Qwen1.8chat模型的实战教程
小知的博客
03-16 4408
与全参数微调不同，LoRA和Q-LoRA的训练只需存储adapter部分的参数。使用LoRA训练后的模型，可以选择先合并并存储模型（LoRA支持合并，Q-LoRA不支持），再用常规方式读取你的新模型。一般会缓存到你的C盘或用户空间，所以要根据自己情况查看模型。也可以通过下面日志查看模型所在位置，如。使用微调后且合并的模型进行本地部署。阿里魔搭社区notebook的。觉得不错，点个star噢。里：下载模型会缓存在。克隆Qwen项目，调用。文件进行配置与微调。
PEFT LoRA 介绍（LoRA微调使用的参数及方法）
qyhua的专栏
07-26 1906
官网简介如下图：翻译过来是：低秩自适应(LoRA)是一种PEFT方法，它将一个大矩阵在注意层分解成两个较小的低秩矩阵。这大大减少了需要微调的参数数量。说的只是针对注意力层，其实我自己平时微调操作注意力层+多层感知机层，感觉所有层都可以微调。在阿里的千问开源的模型文档上也看到微调的并不只有注意力层，不知道微调加入其它层效果会不会更好？
AIGC｜FineTune工程之LoRa高效参数微调
在数字化道路无限探索
07-07 1102
打造自己的LLM
chatglm微调
qq_44089890的博客
07-18 2801
②Lora：技术原理简单，但真有奇效，需要注意rank大小的设置，是根据业务领域来的，领域垂直性越强，就要设置的越大，比较有意思的就是数据，看起来最没技术含量的事情，大家不愿意做，但其实是最难的，数据收集存在诸多问题，数据少且封闭，缺乏标注，垂直领域往往对结果要求很高。解释一下矢量，解释一下万有引力，解释一下摩擦力，解释一下直线运动，刚体运动的分类，解释一下机械波，热力学第一定律。text2vec-base，chatglm-6b 这两个是必要的，下载后，对应的路径要改成自己下载后的路径。
LORA轻量级微调DeepSeek（浅析）
2401_85375186的博客
03-04 2160
LORA 微调通过低秩适配实现了大模型的高效定制化，特别适合资源有限场景下的领域适配与个性化生成。结合量化技术（如 4bits）可进一步降低硬件门槛，而工具链（如peft）的成熟使其成为工业落地的首选方案。
LoRA微调基础知识点
weixin_42924890的博客
09-07 798
LoRA 通过在模型的某些层中添加额外的低秩矩阵，微调过程中，原始模型的大部分参数保持不变，只有这些额外的低秩矩阵被训练。高效微调大语言模型（Large Language Models, LLMs）的一种技术，主要是减少微调大型预训练模型的计算资源和时间。LoRA 只需要更新少量的低秩矩阵，而不是整个模型的权重，降低了微调过程中的计算资源和存储需求。LoRA 通过引入较少的新参数，有助于减少过拟合的风险，从而提高模型在新数据上的泛化能力。时，从而提高了微调的效率同时降低微调所需的资源。
chatglm3-6b lora微调显卡选择
最新发布
04-02
<think>好的，我现在需要回答用户关于ChatGLM3-6B模型进行LoRA微调时的显卡要求和性能推荐的问题。首先，我应该回顾用户提供的引用内容，看看有没有相关的信息。 根据引用[1]和[2]，里面提到了不同微调方法的显存占用情况。其中LORA微调需要1张显卡，显存占用14082MiB。这应该是针对ChatGLM2-6B模型的，但用户现在问的是ChatGLM3-6B。不过通常模型版本升级可能在显存需求上不会有太大变化，所以可以推测ChatGLM3-6B的LoRA微调显存需求相近，大约14GB左右。因此，用户需要一张显存至少16GB的显卡，比如RTX 3090 24GB或RTX 4090 24GB，这样会有足够的余量。 另外，引用[3]提到ChatGLM2-6B通过量化技术可以在消费级显卡上部署，可能LoRA微调时如果使用量化，显存需求会更低。但用户的问题是关于ChatGLM3-6B，可能需要确认是否支持量化微调，如果有的话，像RTX 3060 12GB这样的显卡可能也够用，但需要结合实际情况。 用户还提到显存优化方法，比如梯度检查点和混合精度训练，这些可以在引用中找到相关信息吗？引用中没有直接提到，但这是常见的优化技术，可以推荐。此外，多卡并行方面，引用[2]提到SFT全量微调用了4张卡，但LoRA只需要1张卡，所以用户可能不需要多卡，但如果有更大的模型或数据，可能需要考虑。 总结一下，用户需要知道进行LoRA微调时的显存需求，以及推荐的显卡型号。根据引用内容，显存占用约14GB，推荐16GB以上的显卡，比如3090或4090。如果使用量化技术，可能可以降低到12GB，但需要确认模型是否支持。此外，优化方法如梯度检查点、混合精度训练也是需要考虑的。</think>### ChatGLM3-6B 模型 LoRA 微调显卡要求及性能推荐 #### 1. **显存需求分析** 根据引用数据，ChatGLM2-6B 的 LoRA 微调显存占用为 $14082$ MiB（约 $14$ GB）[^1][^2]。ChatGLM3-6B 作为升级版本，参数量相近，预计显存需求类似。 - **基础要求**：单卡显存至少 $16$ GB，推荐 $24$ GB 显卡以留出优化和数据处理空间。 - **量化优化**：若使用 8-bit/4-bit 量化技术，显存需求可降至 $8$-$12$ GB[^3]。 #### 2. **显卡型号推荐** | 显卡型号 | 显存容量 | 适用场景 | |------------------|----------|-----------------------------| | NVIDIA RTX 3090 | 24 GB | 标准配置，支持全量参数微调 | | NVIDIA RTX 4090 | 24 GB | 高性能场景，训练速度更快 | | NVIDIA RTX 3060 | 12 GB | 需结合量化技术使用 | #### 3. **性能优化建议** - **混合精度训练**：通过 `FP16` 或 `BF16` 降低显存占用，提升计算效率。 - **梯度检查点（Gradient Checkpointing）**：以时间换空间，减少显存消耗约 $20\%$。 - **批处理大小调整**：根据显存容量动态设置 `batch_size`（通常为 $4$-$8$）。 #### 4. **环境配置示例** ```python # 使用 Hugging Face 的 PEFT 库加载 LoRA 配置 from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=8, # LoRA 秩 lora_alpha=32, target_modules=["query_key_value"], lora_dropout=0.1, bias="none" ) model = get_peft_model(model, lora_config) ``` #### 5. **多卡扩展（可选）** 若需加速训练，可通过 `DeepSpeed` 或 `Accelerate` 实现多卡并行，但 LoRA 微调通常单卡即可完成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值