[大模型面试]Lora落地 | LoRA (Low Rank Adaption) 技术核心知识详解

已于 2024-05-27 23:33:53 修改
阅读量3.3k 收藏 18
点赞数 37
分类专栏： 大模型LLM面试指南 LLM大语言模型 文章标签： 机器学习 深度学习 人工智能
于 2024-05-27 22:16:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/139249134
版权

LoRA（Low-Rank Adaptation）是一种用于微调大型预训练语言模型（如GPT-3、BERT等）的方法。它通过在预训练模型的特定层插入低秩矩阵来减少参数量，从而使微调更加高效。LoRA的核心思想是在不改变原有模型权重的情况下，通过添加少量新参数来进行微调。

LoRA 微调详解

  1. 背景：传统的微调方法需要对整个模型的参数进行更新，这对于大型模型来说代价高昂且容易导致过拟合。LoRA通过引入低秩矩阵来减少参数更新的数量，从而降低计算成本和存储需求。

  2. 原理：LoRA在预训练模型中的特定层（如Transformer层的注意力和前馈网络部分）添加了两个低秩矩阵 �A 和 �B。在前向传播过程中，原有的权重矩阵 W 被调整为W+BA。

  3. 公式：
    假设 �W 是原始权重矩阵，输入为 �X。前向传播公式为

了解本专栏 订阅专栏 解锁全文 超级会员免费看
lora:low-rank adaption of large language models
liguandong
03-10 2912
根据之前的一些工作，发现大模型其实是过参数化的， 有更小的一个内在维度，于是文章做了一个假设，模型在任务适配过程中，参数的改变量是低秩的，在训练过程中，lora单独去学习这个改变量，而不是去学习模型的参数，通过把最终训练得到的参数分解为原参数W0和该变量deltaW进行相加，论文假设deltaW是低秩的，把deltaW进一步拆分为低秩矩阵A和低秩矩阵B，如图1所示，而在推理的过程中，由于模型参数已经固定不再变动，这时候把模型的改变量直接放到模型里，这样在推理的计算过程中，就避免了一次额外的矩阵乘法开销。
大模型高效微调详解-从Adpter、PrefixTuning到LoRA
weixin_53880910的博客
06-12 1110
目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。
LoRA(Low-Rank Adaptation)模型核心基础知识
weixin_47748259的博客
01-11 2347
假设原来的是100x1024的参数矩阵，那么参数量为102400，LoRA模型将矩阵拆成了两个矩阵相乘，如果设置Rank=8，那么就是100x8的B矩阵与8x1024的A矩阵做矩阵乘法，参数量为800+8192=8992，整体参数量下降了约11.39倍。因此，在训练完成后，可以获得一个参数远小于SD模型的LoRA模型。与SD模型的参数有相同的维度，同时分解出来的两个较小矩阵可以确保参数更新是在低秩情况下的，这样就显著减少训练的参数数量了。，我们不再对其进行全参微调训练，而是对权重加入残差的形式，通过训练。
大语言模型（LLM）综述
家鸽的代码屋
10-07 2191
大语言模型综述
【大模型知识点】参数高效微调——Lora（Low-Rank Adaptation）及Lora变体
最新发布
想买很多漂亮衣服但是买不起的博客
02-26 1083
LoRA的核心思想是通过低秩分解来近似更新模型中的大参数矩阵。在微调过程中，原始的预训练模型参数被冻结，而通过引入两个小矩阵（A和B）来近似更新大矩阵。这种方法可以显著减少需要训练的参数量。
LoRA技术详解---附实战代码
qq_42896106的博客
10-08 1644
随着大语言模型规模的不断扩大，如何高效地对这些模型进行微调成为了一个重要的技术挑战。Low-Rank Adaptation（LoRA）技术应运而生，它通过巧妙的低秩分解方法，显著减少了模型微调时需要训练的参数数量，同时保持了良好的性能表现。本文将深入介绍LoRA的原理，并通过详细的PyTorch代码实现来展示其工作机制。
Low-Rank Adaption
whaosoft143ai的博客
05-27 1440
因此，重要的是用不同的 r 值进行实验，以找到正确的平衡，从而在新任务中满足所需的性能。新的矩阵 W_A 和 W_B 可以非常小。例如，假设 ΔW 是 A×B 维权重矩阵的权重更新矩阵，这个权重更新矩阵可以分解为两个较小的矩阵：ΔW=W_A W_B，其中 W_A 是 A×r 维矩阵，W_B 是 r×B 维矩阵。LoRA（Low-Rank Adaption，低秩自适应） 作为微调 LLMs 一种比较出圈的技术，其额外引入了可训练的低秩分解矩阵，同时固定住预训练权重，从而大大减少了下游任务的可训练参数数量。
LoRA（Low-Rank Adaptation）
h52013141的博客
12-12 1047
LoRA（Low-Rank Adaptation）是一种针对深度学习模型的参数调整方法，特别适用于大型预训练模型如GPT-3或BERT。它通过在模型的原有权重上添加低秩（low-rank）矩阵，以有效且资源高效的方式实现模型的微调。
LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS
kebijuelun的博客
03-26 2242
给定一个自回归语言模型 PΦ(y|x)，比如可以是基于通用多任务训练的 GPT 模型，需要将这个模型在下游任务上进行 finetune，比如机器阅读理解 (MRC) 和自然语言转换为 SQL (NL2SQL) 这两个任务上，这些任务的数据通常是上下文与目标对：Z = {(xi, yi)}i=1,…,N，其中 xi 和 yi 都是 token 序列比如在 NL2SQL 中，xi 是自然语言查询，yi 是对应的 SQL 指令。
LoRA（Low-Rank Adaptation）原理与应用
SimpleLearning
04-23 1266
LoRA是一种用于调整和微调大型神经网络的技术，特别适用于直接微调整个网络参数成本高昂或不切实际的情况。
什么是低秩自适应（LoRA）技术
yyq916的博客
07-29 905
它是一种用于微调大型预训练语言模型的方法，旨在通过在少量参数上进行训练来实现对特定任务的优化，从而减少计算资源和时间的消耗，同时能够有效地提升模型在特定领域或任务上的性能。LoRA 可以被看作是一种隐式的正则化方法，对模型的调整进行了一定的约束，使得模型在学习新任务时更加稳健，不易受到有限训练数据中的噪声和偏差的影响。通过限制可训练参数的数量，降低了模型的整体复杂度，使其不太容易捕捉到训练数据中的细微、随机的模式，从而降低过拟合的风险。在训练过程中，仅更新这些低秩矩阵的参数，而不是整个原始的大参数矩阵。
【论文解读】S-LoRA： Serving thousands of concurrent LoRA Adapters
coding乐园
04-28 1743
"预训练后微调"范式通常用于部署大型语言模型。低秩适应（LoRA）是一种参数高效的微调方法，经常用于将基础模型适应到多种任务中，从而产生大量从单一基础模型派生的LoRA适配器。我们观察到，这种范式在服务期间的批量推理中呈现出重大机遇。为了利用这些机会，我们提出了S-LoRA，一个为可扩展服务许多LoRA适配器而设计的系统。S-LoRA将所有适配器存储在主存储器中，并将当前运行查询所使用的适配器提取到GPU存储器中。为了有效使用GPU存储器并减少碎片化，S-LoRA提出了Unified Paging。
大模型平民化技术之LORA
sgzqc的专栏
02-23 2962
共享大型的LLM模型是未来的趋势，如果要适应到某个具体任务上，只要训练LoRA模组即可，而这项技术也带来方便的替换性，未来大家只要分享LoRA的模型权重，就可以快速切换至不同的任务。此外，LoRA通过大量降低训练参数，来大幅降低了硬体的训练门槛，并且与完全的模型相比，推论速度的增加是相当少的。
大模型面试之LoRA
2401_85375298的博客
07-30 820
LoRA的解释：一种高效微调预训练神经网络的方法LoRA 解决的问题：🔸 2021年初，微软与OpenAI合作探索GPT-3的商业可行性。🔸 发现仅仅通过提示（prompting）不足以完成生产任务，例如将自然语言转换为代码生成任务。🔸 微调是必要的，但由于模型检查点的规模庞大，成本过高。工作原理：🔸 这两个问题定义了一个二维平面，在这个平面上，全量微调位于一个角（满秩且更新所有参数），而原点代表原始模型。🔸 平面中的任意一点都是一个有效的LoRA配置。
低秩分解（Low-Rank Adaptation, LORA）模型
m0_57448314的博客
03-27 2397
低秩分解（LowRank Adaptation, LORA）模型是一种机器学习技术，用于在保持模型原有性能的同时，使其适应特定的任务或领域。这种方法通过在模型的低秩特征空间中进行适配，而不是直接修改模型的全连接层或卷积层，从而实现了更高效和可控的模型微调。
大型语言模型 (LoRA) 的低秩适应 Low Rank Adapdation
AI生成式技术曾小健
06-05 774
当您将 LoRA 权重与冻结的预训练模型权重合并时，您可以选择调整多少权重与参数合并。当您将 LoRA 权重与冻结的预训练模型权重合并时，您可以选择调整多少权重与参数合并。如果您想存储您的模型或与社区分享您的模型，请登录您的 Hugging Face 帐户（如果您还没有，请创建。的 LoRA 微调，能力有限。与不使用您的 LoRA 权重相同，您仅使用基本模型权重，而值。与不使用您的 LoRA 权重相同，您仅使用基本模型权重，而值。# 使用 LoRA 微调模型的一半权重和基础模型的一半权重。
大模型面经——LoRA最全总结
zhishi0000的博客
08-22 1677
通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。实现思想很简单，就是冻结一个预训练模型的矩阵参数，并选择用A和B矩阵来替代，在下游任务时只更新A和B。
【大模型】Lora
Dong_ZH的博客
03-11 2714
Low-Rank Adaptation（低秩适应）是一种针对大型语言模型（如GPT-3等）在下游任务上进行的参数效率优化技术。这种方法的核心思想是，在模型适应下游任务的过程中，不是更新全部的模型参数，而是仅更新一部分参数，以此来减少需要训练的参数量，提高训练效率，并减少内存消耗。具体而言，低秩适应通过矩阵分解的技术，将大型语言模型中的权重矩阵分解为两个更小的矩阵的乘积，这两个小矩阵是可训练的。在训练过程中，只训练这两个小矩阵，而固定住原始预训练模型的权重。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值