优雅谈大模型13：一文读懂LoRA/DoRA/MoRA

最新推荐文章于 2025-02-17 12:03:57 发布
最新推荐文章于 2025-02-17 12:03:57 发布
阅读量1.1k 收藏 13
点赞数 23
文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/140016418
版权

优雅谈大模型13：一文读懂LoRA/DoRA/MoRA

原创 庞德公 鲁班模锤 2024-06-15 14:34 美国

图片

文｜庞德公

编辑｜郭嘉

大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调或者LLM背后的基础模型新阅读。而最新科技（Mamba,xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于具身智能感兴趣的请移步具身智能专栏。技术宅麻烦死磕AI架构设计。当然最重要的是订阅“鲁班模锤”。

Microsoft于2021年推出的LoRA是一种经济型微调模型参数的方法。现在大模型的参数规模动不动都在10亿级别以上，微调大模型（微调这里代表着SFT，例如读者将某个大模型拿到自身

最低0.47元/天 解锁文章
大模型LoRA微调调参的实战技巧(持续更新)
herosunly的博客
05-01 19万+
本文主要介绍了大模型LoRA微调调参的实战技巧，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战技巧
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
丨汀、的博客
05-22 919
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
优雅谈大模型：一文读懂LoRA/DoRA/MoRA
鲁班模锤
06-15 7858
LoRA提出了一种微训练模型的新方法，在冻结大部分的模型参数之余，仅仅更新额外的部分参数。同时它的性能与“微调大模型的全部参数”相似，但是能够将训练参数的数量减少了10,000倍，GPU内存需求减少了3倍。
【大模型】Lora
Dong_ZH的博客
03-11 2719
Low-Rank Adaptation（低秩适应）是一种针对大型语言模型（如GPT-3等）在下游任务上进行的参数效率优化技术。这种方法的核心思想是，在模型适应下游任务的过程中，不是更新全部的模型参数，而是仅更新一部分参数，以此来减少需要训练的参数量，提高训练效率，并减少内存消耗。具体而言，低秩适应通过矩阵分解的技术，将大型语言模型中的权重矩阵分解为两个更小的矩阵的乘积，这两个小矩阵是可训练的。在训练过程中，只训练这两个小矩阵，而固定住原始预训练模型的权重。
解析QLoRA、AdaLoRA、DoRA、LoRA-GA与MoRA的关系
2301_80471322的博客
02-16 724
实际选型需综合任务需求、硬件条件与成本约束，未来技术将更趋智能化与跨模态化。等策略，在保持LoRA高效性的同时突破其局限；DoRA与MoRA则从。QLoRA、AdaLoRA等技术通过。（基于2025年技术进展）
大模型面经——LoRA最全总结
zhishi0000的博客
08-22 1682
通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。实现思想很简单，就是冻结一个预训练模型的矩阵参数，并选择用A和B矩阵来替代，在下游任务时只更新A和B。
大模型高效微调-LoRA原理详解和训练过程深入分析
m0_63171455的博客
06-12 9735
LoRA与训练目标是解耦的，但本文设定就是语言模型建模。以下将给出语言建模（可自然推广到序列建模）的基本符号定义，即最大化给定提示的条件概率（本质是极大似然估计）。给定一个参数为\(\mathbf{\Phi}\)预训练的自回归语言模型$ P_{\Phi}(y|x)$。\(x\)为输入，\(y\)为输出note: 为与原文符号一致，下文\(\mathbf{\Phi}\)、\(\mathbf{\Theta}\)、\(\mathbf{W}\)均表示模型参数全参数微调。
从零开始实现LoRA和DoRA：改进权重分解的低秩适应（DoRA）
qianggezhishen的专栏
09-12 1392
它能让那些已经训练好的大模型，比如特别大的那种语言模型或者视觉变换器，通过只调整一小部分关键参数，来更好地适应一些特别的、通常规模较小的数据集。这种把一个东西拆成大小和方向两个部分的想法，其实是从数学里的一个原理来的，就是说任何一个向量，都能看成是它的长度（一个数字，表示它伸多远）和它指向哪儿（一个箭头，表示它指哪个方向）这么两个事儿的乘积。_让DoRA的参数比LoRA多了0.01%，但是在大型语言模型和视觉变换器的基准测试中，即使DoRA的秩减半，它的表现也超过了LoRA。就像下面的图示那样。
一文读懂LoRA/DoRA/MoRA
u012374012的专栏
07-15 1400
现在大模型的参数规模动不动都在10亿级别以上，微调大模型（微调这里代表着SFT，例如读者将某个大模型拿到自身领域，想使用自身领域的知识再次训练和精校大模型，就属于模型微调的领域。LoRA提出了一种微训练模型的新方法，在冻结大部分的模型参数之余，仅仅更新额外的部分参数。具体的训练过程是这样的，将原来的矩阵参数固定，然后利用新的数据继续训练大模型，而这个训练过程仅仅更新A和B矩阵。r如何选择，什么的数值是合理的？MoRA 的概念类似于 LoRA，但不是将权重矩阵分解为更小的维度，而是将其分解为小的方形矩阵。
大模型平民化技术之LORA
sgzqc的专栏
02-23 2964
共享大型的LLM模型是未来的趋势，如果要适应到某个具体任务上，只要训练LoRA模组即可，而这项技术也带来方便的替换性，未来大家只要分享LoRA的模型权重，就可以快速切换至不同的任务。此外，LoRA通过大量降低训练参数，来大幅降低了硬体的训练门槛，并且与完全的模型相比，推论速度的增加是相当少的。
快速了解大模型时代爆火的lora技术
2401_84206094的博客
10-21 1476
因为lora基于的假设就是在特定任务上微调时，更新的参数矩阵具有较低的内在维度。举例来说，假设d=k=100,r=1d=k=100,r=1d=k=100,r=1，W0W_0W0​的参数量为10000个，而ΔW\Delta WΔW 的参数量只有200个，是原来的1/501/501/50，参数下降的十分显著。作者也在摘要中明确表示，他们采用lora方法微调，相比于GPT-3全量参数微调，可训练参数下降了10000倍，GPU显存需求下降了3倍，而lora微调后的效果，在特定任务上甚至可以媲美全量微调的模型。
大模型LoRA微调过程
qq_42755230的博客
10-11 1671
详细介绍了LoRA微调大模型的过程，包括使用LoRA的原因、基本原理、优点等。
【语言大模型微调】LoRA — 尖端的大模型微调技术
qq_45752541的博客
07-23 7377
讨论了微调的概念，以及LoRA如何将微调视为学习参数变化，而不是迭代学习新参数。我们学习了线性独立性和秩，以及由于大多数权重矩阵的秩较低，变化矩阵可以用小因子表示。我们将所有内容整合在一起，逐步介绍了LoRA，然后使用HuggingFace PEFT模块在问答任务中实现了LoRA
大模型面试之LoRA
2401_85375298的博客
07-30 824
LoRA的解释：一种高效微调预训练神经网络的方法LoRA 解决的问题：🔸 2021年初，微软与OpenAI合作探索GPT-3的商业可行性。🔸 发现仅仅通过提示（prompting）不足以完成生产任务，例如将自然语言转换为代码生成任务。🔸 微调是必要的，但由于模型检查点的规模庞大，成本过高。工作原理：🔸 这两个问题定义了一个二维平面，在这个平面上，全量微调位于一个角（满秩且更新所有参数），而原点代表原始模型。🔸 平面中的任意一点都是一个有效的LoRA配置。
大模型实战：使用 LoRA（低阶适应）微调 LLM
AIGC | 智能洞察，创造未来
12-18 849
LoRA：大型语言模型的低秩适应 通过使用低秩矩阵分解提出了这两个问题的解决方案。 可以减少 10,000 倍的可训练权重数量和 GPU 内存需求 3倍。
大模型面经：LoRA篇最全总结，非常详细收藏我这一篇就够了！
最新发布
2401_85375151的博客
02-17 970
通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。实现思想很简单，就是冻结一个预训练模型的矩阵参数，并选择用A和B矩阵来替代，在下游任务时只更新A和B。
大模型常见的LoRA算法原理、实现和运用详解
日常学习与专研的记录
07-09 4236
本文介绍大模型llm微调环节的lora算法，包含lora的算法原理、实现以及运用详解！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值