Lora微调训练参数解读

已于 2025-01-26 07:05:04 修改
阅读量5.1k 收藏 34
点赞数 30
分类专栏： 微调实战项目 文章标签： 人工智能 微调 Lora transformer
于 2024-08-27 12:49:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaojia1001/article/details/141057405
版权

前言

通过前面两次微调训练欺诈文本分类微调（六）：Lora单卡和欺诈文本分类微调（七）—— lora单卡二次调优，我们已经初步理解了微调的整个过程，里面涉及到不少的参数配置，这篇文章就对前面用到过的参数作一个基本的梳理和总结。

批次大小

per_device_train_batch_size
解读：每个设备训练时的小批量大小。大batch_size和小batch_size的区别在于：较小的batch_size可能会带来训练时梯度的较大波动，而较大的batch_size则可能使训练过程更加平滑。

此参数设置受显卡内存、模型大小、输入数据长短影响，需要根据自己的情况来尝试。如果设置的batch_size过大，可能会导致显存溢出（OOM），这时需要减小batch_size。

一般的策略是：从较小的batch_size=4开始尝试，并逐渐增大

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM - 大模型 LoRA 微调的超参数与参数量 教程
AGI
11-28 1694
LoRA(Low-Rank Adaptation, 低秩适配)，微调预训练大模型的技术，即参数有效微调(Parameter-Efficient Fine-tuning, PEFT)，在不改变原始权重的基础上，引入可训练的 低秩分解矩阵 调整模型参数，适应特定任务或领域。冻结预训练模型的参数，在 Transfomer 的每一层中，加入可训练的旁路矩阵(低秩可分离矩阵)，将旁路输出与初始路径输出相加，输入到网络当中，只训练这些新增的旁路矩阵参数。
大模型LoRA微调调参的实战技巧(持续更新)
热门推荐
herosunly的博客
05-01 19万+
本文主要介绍了大模型LoRA微调调参的实战技巧，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战技巧
lora微调/(sft、lora、p-tuning、freeze四种典型微调方法)
Msc30839573的博客
03-30 3708
参考。
LoRA（Low-Rank Adaptation）微调参数详解与步骤指南
最新发布
风一样
04-07 1831
LoRA微调通过低秩矩阵分解实现了参数高效优化，其核心在于秩的选择、学习率动态调整、硬件资源适配的三者协同。建议遵循“显存试探→任务适配→参数调优”的流程，结合前沿技术（如QLoRA、LoRA+）实现高效训练。实际应用中需通过AB测试验证参数组合，尤其关注梯度范数和验证集损失的动态变化。
LoRA微调模型结构可训参数和配置详解
weixin_42924890的博客
09-07 1746
1、构建一个简单的两层线性网络，加relu激活函数，在第一层Linear中使用LoRA策略，打印看下模型结构。复习Lora在第一层Lnear网络的结构，即在第一层旁增加lora策略。 2、打印原始网络结构中可训练的参数和LoRA策略下的参数量。 3、LoraConfig类的一些参数解释
AIGC｜FineTune工程之LoRa高效参数微调
在数字化道路无限探索
07-07 1109
打造自己的LLM
简单理解大模型参数高效微调中的LoRA(Low-Rank Adaptation)
xiongxyowo的博客
07-29 1万+
简单理解大模型参数高效微调中的LoRA(Low-Rank Adaptation)
项目实训日志（八）-lora参数调研与处理
m0_62500092的博客
05-31 2111
我们使用了lora方法进行微调，这是一些参数，本篇文章主要探讨参数的含义和设置。1. **学习率 (Learning Rate)**：这是优化算法中调整模型参数的速率。学习率越高，参数更新的步长越大，但可能会导致训练不稳定或错过最优解。我们选择这个学习率是因为它在实验中被证明能够有效地平衡收敛速度和训练稳定性。较低的学习率有助于模型在训练过程中更细致地探索参数空间，从而找到更好的局部最优解。2. **训练轮数 (Epochs)**：这是指整个训练数据集被完整地通过模型一次的次数。
chatglm使用lora进行模型微调训练.zip
08-29
本话题聚焦于“chatglm”模型如何利用“LORA”（Local Orthogonal Random Features，局部正交随机特征）技术进行微调训练。下面我们将深入探讨这两个核心概念以及它们在实际应用中的作用。 首先，让我们了解一下`...
PEFT和LoRA：高效的参数高效微调方法
AI天才研究院
10-14 1243
本文将详细介绍PEFT和LoRA两种参数高效的微调方法，探讨其在深度学习领域的应用。通过对这两种方法的核心概念、数学模型、算法原理、应用实践以及优化方法进行全面剖析，本文旨在为读者提供对PEFT和LoRA的深入理解，并展示它们在实际项目中的价值。
大模型ChatGLM Lora微调的参数详探- 多卡版本
强化学习曾小健
07-04 3577
但是，如果你想要尝试提高模型的精度，可能需要试验不同的batch size。不同的深度学习框架可能会有不同的命名规则，一般来说，xxit/s是每秒钟处理的批次（batch）数量，而不是每秒处理的数据条数。比如，如果我们有1000个样本的数据集，我们可以设置batch size为100，那么我们就会将数据集分成10批，每批包含100个样本，然后逐一将这10批数据输入到模型中进行训练。：这是一个标志，表示如果你的缓存中已经存在预处理过的数据集，那么这个标志会让你的程序忽略这些数据，重新预处理数据。
PEFT LoRA 介绍（LoRA微调使用的参数及方法）
qyhua的专栏
07-26 1961
官网简介如下图：翻译过来是：低秩自适应(LoRA)是一种PEFT方法，它将一个大矩阵在注意层分解成两个较小的低秩矩阵。这大大减少了需要微调的参数数量。说的只是针对注意力层，其实我自己平时微调操作注意力层+多层感知机层，感觉所有层都可以微调。在阿里的千问开源的模型文档上也看到微调的并不只有注意力层，不知道微调加入其它层效果会不会更好？
Swift常用Lora微调参数以及常用值（个人参考用）
qq_39257634的博客
07-24 1280
【代码】Swift常用Lora微调参数以及常用值。
LoRA微调基础知识点
weixin_42924890的博客
09-07 812
LoRA 通过在模型的某些层中添加额外的低秩矩阵，微调过程中，原始模型的大部分参数保持不变，只有这些额外的低秩矩阵被训练。高效微调大语言模型（Large Language Models, LLMs）的一种技术，主要是减少微调大型预训练模型的计算资源和时间。LoRA 只需要更新少量的低秩矩阵，而不是整个模型的权重，降低了微调过程中的计算资源和存储需求。LoRA 通过引入较少的新参数，有助于减少过拟合的风险，从而提高模型在新数据上的泛化能力。时，从而提高了微调的效率同时降低微调所需的资源。
大模型微调技术 --＞ LoRA 系列之 LoRA(现今最火热的模型微调方法，甚至没有之一，下面有常用的 lora 参数)
weixin_46034279的博客
11-07 3956
"r": 8,# 起始rank"alpha": 8,# 与rank相同"dropout": 0.1,# 默认dropout"target_modules": ["q_proj", "v_proj"]# 基础配置Step 1: 先固定其他参数,调整 rank 和 alphaStep 2: 确定最优 rank 后,可以尝试增加 target modulesStep 3: 如果还不够好,可以调整 dropout 或 学习率rank 设置过大可能导致显存不足。
LoRA训练参数解读
分享DotNet技术和日常开发笔记，DotNet，Python为主。
04-18 1882
-output_dir saves/ChatGLM3-6B-Chat/lora/train_5-120：这是保存训练模型和日志的目录。--model_name_or_path /home/ubuntu/THUDM/chatglm3-6b：这指定了预训练模型的目录位置。--lora_target query_key_value：这表示LoRA适应将针对注意力层中的查询和键值矩阵。--per_device_train_batch_size 2：这是每个GPU的训练批次大小。
纯小白想开训lora？参数设置看这一篇就够用了
m0_59162248的博客
12-06 3157
前几天通过对真人照片数据进行处理，初步跑出了一个还不错的结果，不过各种参数设置、查看loss等技巧一个都还没学习，今天7点到家，赶紧打开B站朱尼酱长达1个半小时的教程，开始认真学习！今天的推文主要是记录了一下UP说的重点，关键部分也截图了（因为有字幕遮挡，我这暂停键按得好累hhh）Lora训练核心参数主要分为和，接下来就展开讲讲。训练集，原图质量越高，模型质量越好。学习次数。不是越高越好，太少的话模型学不透，太多可能导致模型固化，缺少天马行空的能力。循环次数。
构建大型语言模型（从零开始）使用LoRA进行参数高效微调
2401_84204413的博客
02-10 834
低秩自适应 （LoRA） 是参数高效微调中使用最广泛的技术之一。以下讨论基于第六章中给出的垃圾邮件分类微调示例。但是， LoRA 微调也适用于第七章中讨论的监督指令微调。E.1 LoRA简介LoRA 是一种技术，它通过仅调整模型权重参数的一小部分来调整预训练模型以更好地适应特定的、通常较小的数据集。“低秩”方面是指将模型调整限制在总权重参数空间的较小维度子空间的数学概念。这有效地捕获了训练期间权重参数变化的最有影响力的方向。
LoRA微调参数设置
03-18
<think>好的，我现在需要帮助用户了解LoRA微调的参数设置方法，并给出指南和示例。根据用户提供的引用资料，我需要整合这些信息，同时遵循系统级指令，比如正确使用LaTeX格式和生成相关问题。 首先，我需要回顾用户提供的四个引用内容，看看它们提到哪些关键点： 1. 引用[1]提到LoRA参数数量的计算，例如r=8时参数数量为4,194,304。这说明参数数量可能与模型的维度有关，比如r的选择直接影响可训练参数的数量。这里可能需要解释r的作用，以及如何计算参数数量。 2. 引用[2]指出Sebastian Raschka通过大量实验提供了实用见解，包括配置选择。这可能涉及到最佳实践，比如如何选择r的值，或者alpha参数的建议。 3. 引用[3]比较了全微调和LoRA的优缺点，并讨论了训练经验和技巧。这可能包括参数设置对效果的影响，如选择哪些层应用LoRA，或者学习率调整。 4. 引用[4]给出了不同配置下的显存占用情况，比如LoRA Base和Chat的不同显存使用，以及QLoRA的效果。这可能涉及参数设置对资源消耗的影响，如使用不同的量化方法（如Int4）如何减少显存。 接下来，我需要将这些信息组织成一个结构清晰的回答，分步骤解释参数设置方法，并给出示例配置。同时，要确保使用正确的中文术语，并引用对应的文献。 可能的步骤包括： 1. 关键参数解释：如r（秩）、alpha（缩放系数）、target_modules（目标层）、dropout等。 2. 参数设置建议：比如r的选择范围，alpha与r的关系，dropout的推荐值。 3. 实验配置示例：比如在Llama2模型上的设置，引用[1]中的例子。 4. 显存优化技巧：如结合QLoRA，调整batch size，梯度检查点等，参考引用[4]的数据。 5. 实用技巧：如学习率调整，多次实验的重要性，参考引用[2]和[3]。 需要注意的地方是，必须正确使用LaTeX格式，例如提到参数数量时，用$r \times d$这样的公式，并确保独立公式用$$...$$。同时，生成的相关问题要围绕LoRA参数设置展开，比如如何选择r，参数计算方式，优化方法等。 现在需要检查是否有遗漏的要点，比如是否提到了不同层的影响，或者是否有实际代码示例。不过用户要求的是指南和示例，可能不需要具体代码，但可以给出参数配置的示例，如使用HuggingFace的PEFT库设置参数。 最后，确保每个引用在适当的地方标注，例如在解释参数数量计算时引用[1]，在优化建议时引用[4]等。</think>### LoRA微调参数设置指南 #### 1. 核心参数解析 LoRA微调的关键参数包括： - **秩（Rank, $r$）**：决定低秩矩阵的维度。参数总量计算公式为： $$ \text{参数数量} = r \times (d_{\text{in}} + d_{\text{out}}) $$ 其中$d_{\text{in}}$和$d_{\text{out}}$是原始层的输入/输出维度。例如在Llama2-7B中设置$r=8$时，仅需训练约420万参数[^1]。 - **缩放系数（Alpha, $\alpha$）**：控制低秩矩阵对原始权重的影响程度。通常设置为$\alpha = 2r$可获得较好效果[^2]。 - **目标层（target_modules）**：指定应用LoRA的神经网络层。常见选择包括： ```python # Hugging Face PEFT示例 target_modules=["q_proj", "v_proj"] # 注意力层的查询/值矩阵 ``` #### 2. 参数设置建议 | 参数 | 推荐范围 | 说明 | |-------------|----------------|----------------------------------------------------------------------| | $r$ | 4-64 | 越大则拟合能力越强，但可能过拟合[^3] | | $\alpha$ | $r$的1-2倍 | 需与学习率配合调整 | | Dropout | 0.1-0.3 | 防止过拟合 | | 学习率 | 1e-4 - 3e-5 | 通常比全参数微调大10倍 | #### 3. 典型配置示例 ```python from peft import LoraConfig lora_config = LoraConfig( r=8, lora_alpha=16, target_modules=["q_proj", "v_proj"], lora_dropout=0.1, bias="none", task_type="CAUSAL_LM" ) ``` 此配置在Llama2-7B上仅需训练0.06%的参数，显存占用可降低至23.6GB（对比全参数微调的37.3GB）[^4]。 #### 4. 显存优化技巧 - 结合QLoRA使用4-bit量化，可将显存需求从28.87GB降至11.82GB - 设置梯度检查点（gradient_checkpointing=True） - 减小批处理大小（batch_size=2-4） #### 5. 实验建议 - 优先在$r=8$基准上进行消融实验 - 对关键层（如注意力机制）逐步扩展LoRA应用范围 - 使用学习率预热（warmup_ratio=0.03）避免初期震荡
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉下心来学鲁班

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值