论文阅读之LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS（2021）

最新推荐文章于 2025-04-14 18:58:57 发布
最新推荐文章于 2025-04-14 18:58:57 发布
阅读量2.5k 收藏 17
点赞数 48
文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52785473/article/details/136938053
版权
本文介绍了一种名为LoRA的低秩适应方法，通过在Transformer模型中引入可训练的低秩矩阵，减少预训练语言模型的下游任务参数，保持或提高性能，同时降低内存需求和推理延迟。实验显示LoRA在多种NLP任务上表现出色，且与现有技术兼容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

论文地址

LORA: LOW-RANK ADAPTATION OF LARGE LAN-
GUAGE MODELS

主要内容

这篇文章的主要内容是介绍了一种名为LoRA（Low-Rank Adaptation）的技术，这是一种针对大型语言模型进行低秩适应的方法。LoRA的核心思想是在预训练模型的基础上，通过注入可训练的低秩分解矩阵到Transformer架构的每一层，而不是对所有模型参数进行微调（fine-tuning），从而大幅减少下游任务的可训练参数数量。这种方法在保持预训练权重不变的情况下，通过优化低秩矩阵来间接训练密集层的权重更新。

文章通过实验表明，LoRA在多个NLP任务上的表现与完全微调相当，甚至在某些情况下更优。LoRA的主要优势包括：

显著减少了可训练参数的数量，例如，与GPT-3 175B微调相比，LoRA可以将可训练参数减少10,000倍。
降低了GPU内存需求，提高了训练效率。
由于LoRA的简单线性设计，可以在部署时将训练矩阵与冻结权重合并，从而不会引入额外的推理延迟。
LoRA与许多现有方法正交，可以与它们结合使用，例如前缀微调（prefix-tuning）。
此外，文章还提供了对LoRA的实证研究，探讨了在语言模型适应中秩不足性的作用，并解释了LoRA的有效性。作者还发布了一个包，方便将LoRA与PyTorch模型集成，并提供了RoBERTa、DeBERTa和GPT-2的实现和模型检查点。

主要贡献

文章的主要贡献可以总结为以下几点：

1.LoRA方法的提出：文章提出了一种新的低秩适应（Low-Rank Adaptation, LoRA）方法，用于在不重新训练所有参数的情况下，对大型预训练语言模型进行有效适应。这种方法通过在Transformer架构的每一层注入可训练的低秩矩阵来实现，从而大幅减少了下游任务的可训练参数数量。

2.显著降低参数数量和内存需求：LoRA能够将可训练参数的数量减少10,000倍，同时将GPU内存需求降低3倍，这使得在资源受限的环境中部署和使用大型模型变得更加可行。

3.保持或提升模型性能：尽管LoRA减少了可训练参数的数量，但它在多个NLP任务上的性能与完全微调相当或更好，这表明LoRA是一种高效的模型适应方法。

4.无额外推理延迟：LoRA的设计允许在部署时将训练矩阵与冻结权重合并，这意味着在推理时不会引入额外的计算延迟，这与完全微调的模型相比是一个显著优势。

5.与现有技术的兼容性：LoRA可以与许多现有的模型适应技术结合使用，如前缀微调（prefix-tuning），这增加了LoRA的灵活性和实用性。

6.实证研究：文章提供了对LoRA方法的实证研究，探讨了在语言模型适应中秩不足性的作用，并解释了LoRA的有效性。

7.资源和工具的发布：作者发布了一个包，方便将LoRA与PyTorch模型集成，并提供了RoBERTa、DeBERTa和GPT-2的实现和模型检查点，这为研究社区提供了宝贵的资源。

总的来说，文章的主要贡献在于提出了一种新的、高效的大型语言模型适应方法，这种方法在减少资源消耗的同时，保持了模型的性能，并且易于与现有技术结合使用。

模型图

在这里插入图片描述
言简意赅
左边预训练模型权重不动
只训练右边的A和B

技术细节

假设预训练模型要进行常规全参数微调
在这里插入图片描述
其中Φ表示模型的参数，x表示输入，y表示输出
在这里插入图片描述
表示进行微调任务的数据集
此时我们需要调整的参数就是全参数：
在这里插入图片描述
如果是175B的模型，微调一个下游任务的模型，每次都要调整这么多参数，工作量巨大。

但是使用LoRA技术的话
在这里插入图片描述
预训练模型的参数都冻结，不调整
只是额外加一组小小的参数
也能做到和下游任务适配
在这里插入图片描述
而此时需要调整的参数远远小于预训练模型的参数
在这里插入图片描述
也就是说此时需要调整的参数很小。

文章主要聚焦于将LoRA在transformer注意力机制上进行使用，因为这也是transformer的精髓
在这里插入图片描述

在这里插入图片描述
分别用于表示四个线性层的参数。
在这里插入图片描述
用于表示预训练模型的参数
在这里插入图片描述
是自适应过程中的累积梯度更新
r就是低秩矩阵的秩

例如我们在
W上加个LoRA
在这里插入图片描述
假设W0为512*512
就单单只看这部分的话
全参数微调需要调整512*512 = 262144个参数
使用LoRA后，这262144个参数就冻结了
此时增加两个低秩矩阵 例如512*2和2*512
那么此时需要调整的参数大小就为512*2+2*512 = 2048个参数
2048 / 262144 = 0.0078125
此时要训练的参数就减少了许多

而且，当我们面对不同的下游任务时，因为原本的预训练模型是冻结的，所以预训练模型用一个就行，只需要保存的参数就是加入的低秩矩阵，这样的话，也能节省大量的存储空间。

可以看个伪代码：

class LowRankMatrix(nn.Module):
    def __init__(self, weight_matrix, rank, alpha=1.0):
        super(LowRankMatrix, self).__init__()
        self.weight_matrix = weight_matrix
        self.rank = rank
        self.alpha = alpha / rank  # 将缩放因子与秩相关联
        # 初始化低秩矩阵A和B
        self.A = nn.Parameter(torch.randn(weight_matrix.size(0), rank), requires_grad=True)
        self.B = nn.Parameter(torch.randn(rank, weight_matrix.size(1)), requires_grad=True)

    def forward(self, x):
        # 计算低秩矩阵的乘积并添加到原始权重上
        # 应用缩放因子
        updated_weight = self.weight_matrix + self.alpha * torch.mm(self.B.t(), self.A)
        return updated_weight

α和r用于缩放矩阵，帮助更好的训练

A矩阵使用随机高斯初始化
B矩阵初始化为0

实验结果

在这里插入图片描述
LoRA相较于Adapter不会显著增加推理的时间。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
LoRA效果好
在这里插入图片描述
LoRA一起用到Wq和Wv效果比较好

在这里插入图片描述
低秩已足够

[论文笔记]LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
日积月累，天道酬勤
05-16 1627
⭐ 作者提出了LoRA，冻结了预训练模型的权重，将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数数量。同时秩分解矩阵和原始矩阵可以合并，可以不引入推理延迟。
【深度学习】LoRA: Low-Rank Adaptation of Large Language Models，论文解读
q742971636的博客
02-23 1528
自然语言处理的一个重要范式是在通用领域数据上进行大规模预训练，并适应特定任务或领域。随着我们预训练更大的模型，全面微调，即重新训练所有模型参数，变得不太可行。以GPT-3 175B为例 - 部署独立的微调模型实例，每个模型有175B个参数，成本过高。我们提出了低秩适应，或LoRA，它冻结了预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数数量。
【论文分享】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
m0_53162279的博客
10-12 2015
现在大模型一般是预训练模型通过微调实现特定任务。预训练模型更大时，全量微调的实现代价高。本文提出低秩自适应（Low-Rank Adaptation, LoRA）微调技术，它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到Transformer架构的每一层，从而大大减少了下游任务的可训练参数的数量。GitHub仓库：https://github.com/microsoft/LoRA。
LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS
kebijuelun的博客
03-26 2247
给定一个自回归语言模型 PΦ(y|x)，比如可以是基于通用多任务训练的 GPT 模型，需要将这个模型在下游任务上进行 finetune，比如机器阅读理解 (MRC) 和自然语言转换为 SQL (NL2SQL) 这两个任务上，这些任务的数据通常是上下文与目标对：Z = {(xi, yi)}i=1,…,N，其中 xi 和 yi 都是 token 序列比如在 NL2SQL 中，xi 是自然语言查询，yi 是对应的 SQL 指令。
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 论文阅读
lovep1的博客
03-16 1692
1、为什么要这么做？预训练模型越来越大，比如GPT-3 175B训练独立变得越来越不可行 2、方法：冻结预训练模型的权重，在Transformer架构的每一层中注入可训练的低秩分解矩阵 3、效果：训练参数量减少10000x，GPU显存减少3x，且不像adapter引入额外的推理延迟
【论文&代码阅读】LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS
weixin_50862344的博客
04-30 2851
LoRA允许我们通过优化适应过程中密集层变化的秩分解矩阵来间接训练神经网络中的一些密集层，同时保持预先训练的权重冻结。具体来说，给定一个矩阵A，低秩分解将其分解为两个矩阵U和V的乘积，其中U和V的秩均比A的秩小，且乘积矩阵与原矩阵相等。对于预训练的权重矩阵W0∈Rd×k，我们通过用低秩分解W0+∆W=W0+BA表示后者来约束其更新，其中B∈Rd×r，a∈Rr×k,秩r是d，k的较小值。我们提出了低秩自适应，即LoRA，它冻结预先训练的模型权重，并将可训练的秩分解矩阵注入Transformer架构的每一层。
【NLP经典论文精读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
HERODING23的博客
06-18 4824
当下大模型时代最火的低资源微调大模型方法之一，方法简单易懂，道理清晰明了，对未来的工作有很强的启发性。如果想要深入了解LoRA的底层原理，建议仔细看一看这篇文章，如果只是应用，那么简单了解就好了~大模型预训练后的全量微调往往由于算力缺口而不可行，因此本文提出低秩适应，即LoRA，它冻结了预训练模型的权重，并将可训练的低秩分解矩阵注入到Transformer的每一层，大大减少了下游任务的参数量。与GPT-3相比，LoRA可以减少10000倍的参数训练量和3倍的显存需求。
[论文精读]LoRA: Low-Rank Adaptation of Large Language Models
m0_52911108的博客
10-31 1498
在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与 PLM 的参数叠加。A用随机高斯分布初始化，B用 0 矩阵初始化 ，保证训练的开始此旁路矩阵依然是 0 矩阵。
LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS
aikun315的博客
11-02 552
研究问题：许多自然语言处理的应用依赖于将一个大规模的预训练语言模型适应于多个下游应用。这种适应通常通过微调实现，即更新预训练模型的所有参数。微调的主要缺点是新模型的参数数量与原始模型相同。随着越来越大的模型每隔几个月就被训练出来，这对GPT-2或RoBERTa大模型来说，仅仅是一个“麻烦”，但对具有1750亿可训练参数的GPT-3来说，这成为了一个关键的部署挑战。以前的做法：为了缓解这一问题，许多研究者试图仅适应部分参数或为新任务学习外部模块。
9、微调技术——Lora（论文阅读）
DQHNB的博客
09-02 1283
假设原本w为100x100大小，则A大小为100xK，B为Kx100，假设W中有用信息多，我们就可以让k大一点，否则就小一点。假设k=2，则AB中各有200个参数，一共400个，远远比W参数少得多。（1）对于改动的量，可能里面包含许多有限的有用值。比如100亿的参数，可能只有50亿有用，别的都是重复或者可根据已知来推导的。为了减少训练量，我们不会更新所有参数。假设预训练模型的参数矩阵为W，我们可以将其写成W=A*B的形式。（2）有时我们希望模型某一方面的能力更突出，所以只需要训练部分参数即可。
【文献阅读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
idiotyi的博客
06-07 979
adapter-based的方法通常是利用一个MLP或者一个prefix-based方法，导致模型不允许长序列的输入。不同于adapter-based的方法，LORA是针对原始模型训练的。LORA微调时，我们可以通过设置r来达到恢复全量微调的效果。因为LORA在适应过程中不要求对权重矩阵的累积梯度更新具有完整的秩。这个缩放可以减小当r改变时，我们重新微调参数的需要。对于不同的下游任务，只用计算BA和其变化量的差值就可以了。对于A采用一个随机的高斯初始化，对于B采用0初始化。
论文研究-基于LoRa和智能终端的远程数据采集网络 .pdf
08-27
基于LoRa和智能终端的远程数据采集网络，陈欣宇，刘绍华，无线数据采集在生产和生活中有着越来越广泛的应用，例如小区智能抄表，工业现场的设备运行实时监测等，目前所采用的采集网络大多
LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的
08-01
LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的低秩适应
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
qq_43800752的博客
06-01 2622
自然语言处理的一个重要范式是在通用领域数据上进行大规模预训练，然后根据特定任务或领域进行适应性训练。随着我们对模型进行更大规模的预训练，完全微调（重新训练所有模型参数）变得越来越不可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例有175B个参数，成本过高。我们提出了低秩适应（Low-Rank Adaptation，LoRA）方法，该方法冻结预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer架构的每个层中，从而大大减少了下游任务的可训练参数数量。
论文解读 翻译：LoRA：大型语言模型的低秩适应
强化学习曾小健
06-21 821
从第二个式子可以看到，尽管参数看起来增加了（多了Δ Φ ( Θ ) \Delta \Phi\left(\Theta\right)ΔΦ(Θ)），但是从前面的max的目标来看，需要优化的参数只有Θ \ThetaΘ，而根据假设，Θ < < Φ \Theta
（第24篇）lora论文讲解LoRA: Low-Rank Adaptation of Large Language Models（微调、预训练模型）
最新发布
weixin_74009895的博客
04-14 602
①微调（Fine-Tuning, FT）对模型所有参数进行完整更新。缺点：参数量大、训练成本高（如 GPT-2 Medium 的可训练参数达 354.92M）。②偏置微调（Bias-only, BitFit）仅训练模型中的偏置参数，其余参数冻结。参数量小，但效果可能不如其他方法。③前缀嵌入微调（Prefix Embedding Tuning, PreEmbed）在输入中插入优化的提示标记（Prompt）作为额外的嵌入，模型根据这些标记调整输出。可训练参数量与标记长度成正比。
lora:low-rank adaption of large language models
liguandong
03-10 2914
根据之前的一些工作，发现大模型其实是过参数化的， 有更小的一个内在维度，于是文章做了一个假设，模型在任务适配过程中，参数的改变量是低秩的，在训练过程中，lora单独去学习这个改变量，而不是去学习模型的参数，通过把最终训练得到的参数分解为原参数W0和该变量deltaW进行相加，论文假设deltaW是低秩的，把deltaW进一步拆分为低秩矩阵A和低秩矩阵B，如图1所示，而在推理的过程中，由于模型参数已经固定不再变动，这时候把模型的改变量直接放到模型里，这样在推理的计算过程中，就避免了一次额外的矩阵乘法开销。
Lora：Low-Rank Adapation of Large Language models
Hanze的博客
04-02 1238
W或W0指的是预训练的权重矩阵，∆W指的是适应过程中的累积梯度更新。这个额外的矩阵是支持热‘插拔的’，是指我可以在不同的下游任务应用不同的矩阵，比如我想做词性标注，我只需要原始的Pre-train model 加上在词性标注数据上finetune 的 BA就可以了，并且速度不受影响。作者假设在微调时，Pre-train model的权重矩阵在过度更新参数时，它的权重矩阵的秩是很低的，于是作者的想法就是把 一些Dense layer的权重替换成低秩分解矩阵，然后作者发现效果也不错。
在银行系统已接入DeepSeek（深度求索AI模型）的基础上，接入RAG（Retrieval-Augmented Generation）与LoRA（Low-Rank Adaptation）技术可进一步优化模型性能。接入部分的代码请用Java写
02-22
<think>嗯，用户问的是在银行系统已经接入了DeepSeek模型的情况下，如何进一步用RAG和LoRA技术优化模型性能，并且要求接入部分的代码用Java写。首先，我需要确认自己对这两个技术的理解是否正确，然后再考虑如何在Java中实现。 首先，RAG是检索增强生成，结合了检索外部知识库和生成模型的能力。在银行场景中，可能需要实时查询金融产品信息、政策法规或者用户历史数据。所以，用户可能需要一个高效的检索系统，比如使用Elasticsearch或者向量数据库，然后结合生成模型来生成更准确的回答。 然后是LoRA，这是一种微调大模型的方法，通过低秩矩阵适应，可以在不改变原模型参数的情况下，用较小的参数量来调整模型行为。对于银行来说，可能需要在特定任务上微调模型，比如客服对话、风险评估等，同时保持模型原有的通用能力。 接下来，用户需要的是Java代码示例。不过，这里可能存在一些挑战，因为通常像LoRA这样的微调操作可能在Python中更常见，使用诸如Hugging Face的Transformers库。而Java在深度学习框架方面可能不如Python丰富，但仍有Deep Learning4J这样的库。不过，用户可能已经接入了DeepSeek模型，可能通过API或者某种服务的方式调用，所以实际代码可能需要结合REST API调用或者现有的Java库。 首先，关于RAG部分。在Java中，可能需要连接到一个检索系统，比如Elasticsearch，执行查询，获取相关文档，然后将这些文档作为上下文输入到DeepSeek模型中。这里需要处理检索、上下文拼接等步骤。代码示例可能包括使用Elasticsearch的Java客户端进行查询，然后构造包含上下文的请求体，发送到DeepSeek的API。 然后是LoRA部分。LoRA的实现通常涉及在模型训练时添加适配器层。如果在Java中进行微调，可能需要使用支持LoRA的库，但常见的实现可能更多在Python中。不过，用户可能已经有一个微调后的模型，通过API调用，所以在Java中可能只需要在调用模型时指定使用的LoRA适配器（比如传递一个适配器ID或名称参数）。或者，如果需要在客户端进行实时适配，这可能比较复杂，可能需要加载模型参数，这在Java中可能不太方便。所以可能的代码示例是调用已经部署好的带有LoRA适配器的模型服务，传递适配器参数。 不过，用户可能希望的是在现有系统中集成这两个技术，因此可能需要考虑如何在现有架构中添加检索步骤，以及如何调用带有LoRA适配器的模型。假设DeepSeek的API已经支持LoRA适配器，那么Java代码中可能需要添加相应的参数。 现在需要组织这些思路，给出结构化的回答，包括技术简介、优化场景、代码示例以及注意事项。需要注意代码示例可能需要简化，比如使用伪代码或假设的API调用方式，因为实际实现可能依赖具体的库或服务接口。 另外，用户可能是在银行的技术部门工作，需要确保代码的安全性和高效性，所以可能需要提到相关的最佳实践，比如缓存检索结果、微调时的数据隐私保护等。同时，可能要考虑性能问题，比如检索系统的响应时间，模型调用的延迟等。 总结一下，回答的结构应该是： 1. RAG和LoRA的简介及其在银行系统中的优化场景。 2. RAG的Java代码示例，包括检索部分和模型调用。 3. LoRA的Java代码示例，可能涉及调用带有适配器参数的模型API。 4. 注意事项，包括性能、安全、数据隐私等。 5. 结语，总结好处。 在编写代码示例时，可能需要假设使用某些库或框架，比如Elasticsearch的Java客户端，以及HTTP客户端发送请求到模型API。同时，需要确保代码示例简洁，符合Java的语法规范，并且适当添加注释。 最后，需要验证这些思路是否正确，是否有遗漏的关键点，比如RAG中上下文如何拼接，是否截断，如何处理检索失败的情况，或者LoRA适配器的具体调用方式等。可能需要进一步明确用户的具体需求，但根据问题描述，用户可能希望一个高层次的示例，所以保持代码示例的简洁和示范性是关键。</think>在银行系统中结合RAG与LoRA技术可显著提升AI模型的精准度和专业性。以下为技术简介及Java接入示例： --- ### **一、技术价值与场景** 1. **RAG（检索增强生成）** - **作用**：实时检索知识库补充上下文（如产品条款/风控规则） - **银行场景**：客户咨询应答、合规审查、风险预警 2. **LoRA（低秩适配微调）** - **作用**：低成本微调模型适配专业任务（参数更新量<1%） - **银行场景**：信贷报告生成、交易数据分析、个性化推荐 --- ### **二、Java代码实现示例** #### **1. RAG模块实现** ```java // 伪代码需替换实际SDK调用 public class RagService { // 检索知识库（示例：Elasticsearch） public List<Document> retrieveRelevantDocs(String query) { RestClient client = RestClient.builder( new HttpHost("es-host", 9200, "http")).build(); Request request = new Request("GET", "/knowledge_base/_search"); request.setJsonEntity("{ \"query\": { \"match\": { \"content\": \"" + query + "\" } } }"); Response response = client.performRequest(request); return parseDocuments(response.getEntity().getContent()); } // 拼接上下文调用DeepSeek public String generateWithRAG(String userQuery) { List<Document> docs = retrieveRelevantDocs(userQuery); String context = docs.stream().map(Document::getText).collect(Collectors.joining("\n")); String prompt = "基于以下信息回答问题：\n" + context + "\n\n问题：" + userQuery; return DeepSeekClient.generate(prompt); // 假设已有模型调用封装 } } ``` #### **2. LoRA适配调用** ```java // 假设模型服务支持LoRA适配器切换 public class LoraAdapterService { public String generateWithLora(String input, String adapterId) { JsonObject requestBody = new JsonObject(); requestBody.addProperty("input", input); requestBody.addProperty("adapter_id", adapterId); // 指定业务适配器（如loan_risk_v1） HttpResponse response = Unirest.post("https://api.deepseek.com/v1/generate")
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Icy Hunter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值