LoRA论文精读（上） Low-Rank Adaptation of Large Language Models

最新推荐文章于 2025-03-16 21:57:28 发布
最新推荐文章于 2025-03-16 21:57:28 发布
阅读量1.6k 收藏 25
点赞数 16
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_72032564/article/details/144314802
版权

        本篇博客针对LoRA: Low-Rank Adaptation of Large Language Models的提出背景和算法原理做了非常清晰简明的讲解，适用于想要快速了解一下LoRA底层方法的学习者。对于原文的实验和未来工作等部分的详细介绍在LoRA论文精读（下） Low-Rank Adaptation of Large Language Models-CSDN博客中，如有兴趣，可以再进一步阅读。

1. 提出背景

        在NLP领域中，我们将大规模的预训练语言模型应用到下游任务主要需要通过微调（fine-tuning）来实现。而微调方法可以分为全参微调和低参微调。

        全参微调方法在每一次微调时都会更新预训练模型的所有参数。随着预训练语言模型的规模越来越大，参数越来越多，全参微调需要的计算和存储资源越来越大，成为了一大挑战。

        在此背景下，涌现了一些低参微调方法，主要是通过固定大部分参数，调整少量与模型任务相关的参数来提高模型表现效果。LoRA即为低参微调方法之一，它由微软团队在2021年提出，主要通过低秩适应（Low-Rank Adaptation）来实现，在和其他微调方法的baseline享有comparable的性能表现下大大对降低了计算等硬件资源的需求。       

2. 算法原理

        LoRA的主要算法原理就汇聚在下面这幅图中，下面我们对这幅图做具体介绍。

        X为输入变量，长度为d，h为输出变量，长度也为d，图中左边的d*d维的矩阵是预训练权重矩阵，可以反映涵盖整个映射过程，全参微调则是对这d*d个参数全部进行更新。而LoRA方法则是对矩阵进行分解，根据之前的研究知道W在更新时只有一个低秩矩阵在发生变化，我们把这个在发生变化的部分ΔW分解为B*A，B初始为零矩阵，而A初始为一个随机正态分布的矩阵。这个过程用公式表示如下：

                                                h=W_{0}x+\bigtriangleup Wx=W_{0}x+BAx

        A是一个d*r维的矩阵，B是一个r*d维的矩阵，我们会使得r<<d。BAx表示先把1*d维的向量x通过A映射到1*r维再通过B映射回1*d维代表x的变化量，再加上原本的预训练的权重矩阵W0*x，得到最终的输出变量h。这样做大大减少了参数数量，从原来的d*d变成了2*r*d，从而降低了计算门槛。

        那为什么要这么对A、B矩阵做初始化呢？原因如下：（1）B设置为0可以使训练初期，新增的部分对原始参数的影响为零，从而不会破坏预训练模型的初始性能（2）A初始正太分布可以在引入随机性的情况下进行有效传播，避免梯度消失或梯度爆炸（3）如果B和A全部初始化为零矩阵，很容易导致梯度消失；如果B和A全部正态分布初始化，那么在模型训练开始时，就容易得到一个过大的偏移值。

        LoRA的主要贡献在原文中总结如下：

（1）预训练模型可以共享并用于构建多个小型LoRA模块，以完成不同的任务。我们可以冻结共享模型，通过替换图中的矩阵A和B，高效地切换任务，从而大幅降低存储需求和任务切换开销。

（2）LoRA使用自适应优化器时，可以将训练效率提高3倍以上，从而降低硬件入门门槛。这是因为我们不需要计算大多数参数的梯度或维护优化器状态。相反，我们仅优化少量低秩矩阵。

（3）我们简单的线性设计允许在部署时将可训练矩阵与冻结的权重合并，从而在设计上实现了与完全微调模型相同的无推理延迟。

（4）LoRA可以与之前的许多方法结合使用，例如前缀微调等。

原文链接：[2106.09685] LoRA: Low-Rank Adaptation of Large Language Models        

         

[论文笔记]LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
日积月累，天道酬勤
05-16 1628
⭐ 作者提出了LoRA，冻结了预训练模型的权重，将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数数量。同时秩分解矩阵和原始矩阵可以合并，可以不引入推理延迟。
（第24篇）lora论文讲解LoRA: Low-Rank Adaptation of Large Language Models（微调、预训练模型）
最新发布
weixin_74009895的博客
04-14 610
①微调（Fine-Tuning, FT）对模型所有参数进行完整更新。缺点：参数量大、训练成本高（如 GPT-2 Medium 的可训练参数达 354.92M）。②偏置微调（Bias-only, BitFit）仅训练模型中的偏置参数，其余参数冻结。参数量小，但效果可能不如其他方法。③前缀嵌入微调（Prefix Embedding Tuning, PreEmbed）在输入中插入优化的提示标记（Prompt）作为额外的嵌入，模型根据这些标记调整输出。可训练参数量与标记长度成正比。
LoRA论文精读（下） Low-Rank Adaptation of Large Language Models
weixin_72032564的博客
11-20 934
现在网上对LoRA的解读文章大多非常粗暴地粘贴了原文内容、实验结果以及翻译了实验结论，对于怎么得出结论的以及一些背景知识都没有很细的讲解，本篇博客针对LoRA: Low-Rank Adaptation of Large Language Models原文的第五节实验部分，第七节理解低秩更新以及Future Work部分进行了详细解读，并顺带总结了之后LoRA的各种变体以及LoRA在NLP（如命名实体识别等）和CV（如Stable Diffusion）领域的具体应用。
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 论文阅读
lovep1的博客
03-16 1697
1、为什么要这么做？预训练模型越来越大，比如GPT-3 175B训练独立变得越来越不可行 2、方法：冻结预训练模型的权重，在Transformer架构的每一层中注入可训练的低秩分解矩阵 3、效果：训练参数量减少10000x，GPU显存减少3x，且不像adapter引入额外的推理延迟
【论文阅读】Lora
hei_hei_hei_的博客
06-07 1123
Lora论文阅读
9、微调技术——Lora（论文阅读）
DQHNB的博客
09-02 1286
假设原本w为100x100大小，则A大小为100xK，B为Kx100，假设W中有用信息多，我们就可以让k大一点，否则就小一点。假设k=2，则AB中各有200个参数，一共400个，远远比W参数少得多。（1）对于改动的量，可能里面包含许多有限的有用值。比如100亿的参数，可能只有50亿有用，别的都是重复或者可根据已知来推导的。为了减少训练量，我们不会更新所有参数。假设预训练模型的参数矩阵为W，我们可以将其写成W=A*B的形式。（2）有时我们希望模型某一方面的能力更突出，所以只需要训练部分参数即可。
基于LoRa的矿用无线通信系统设计-论文
07-08
为解决传统煤矿监控系统传感层有线总线通信节点容量少、通信距离短、布线成本高等问题,设计了一种基于LoRa的矿用无线传感层通信系统,实现监控区域网络全覆盖。详细介绍了系统网关和终端通信模块设计,终端入网机制,通信地址管理,网关容量与信道分配管理,信道划分与漫游机制。现场实验表明:设计的系统组网灵活,通信距离远,链接可靠性高,满足煤矿井下传感层无线通信需求。
论文简读 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
a486259的博客
09-08 1588
LORA是什么？ LORA是一个解决大模型finetune的技术。现行的大模型(如GPT3,参数量175B)的训练微调成本比较高，一次训练需要几个月才能完成，这提高了nlp大模型的准入门槛。大模型finetune的目的是为了将通用领域的大模型能力迁移到专业领域(下游应用环境)， 因为直接在专业领域训练nlp模型存在难以收敛的风险(nlp的专业领域应用需要通用领域的词汇嵌入支持`提供初级词汇理解能力`，在通用领域的大数据规模下训练后可以增强词汇嵌入能力，再进行专业领域训练。 通俗来说，LORA技术就像一个化
LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的
08-01
LoRA，全称为Low-Rank Adaptation of Large Language Models，是一种针对大型语言模型进行有效微调的技术。在当前的自然语言处理（NLP）领域，预训练的大型语言模型如BERT、GPT或T5等，已经成为解决各种任务的基础。...
[论文精读]LoRA: Low-Rank Adaptation of Large Language Models
m0_52911108的博客
10-31 1499
在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与 PLM 的参数叠加。A用随机高斯分布初始化，B用 0 矩阵初始化 ，保证训练的开始此旁路矩阵依然是 0 矩阵。
【论文分享】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
m0_53162279的博客
10-12 2015
现在大模型一般是预训练模型通过微调实现特定任务。预训练模型更大时，全量微调的实现代价高。本文提出低秩自适应（Low-Rank Adaptation, LoRA）微调技术，它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到Transformer架构的每一层，从而大大减少了下游任务的可训练参数的数量。GitHub仓库：https://github.com/microsoft/LoRA。
论文研究-基于LoRa和智能终端的远程数据采集网络 .pdf
08-27
基于LoRa和智能终端的远程数据采集网络，陈欣宇，刘绍华，无线数据采集在生产和生活中有着越来越广泛的应用，例如小区智能抄表，工业现场的设备运行实时监测等，目前所采用的采集网络大多
论文阅读之LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS（2021）
学习笔记
03-22 2604
LoRA的核心思想是在预训练模型的基础上，通过注入可训练的低秩分解矩阵到Transformer架构的每一层，而不是对所有模型参数进行微调（fine-tuning），从而大幅减少下游任务的可训练参数数量。而且，当我们面对不同的下游任务时，因为原本的预训练模型是冻结的，所以预训练模型用一个就行，只需要保存的参数就是加入的低秩矩阵，这样的话，也能节省大量的存储空间。总的来说，文章的主要贡献在于提出了一种新的、高效的大型语言模型适应方法，这种方法在减少资源消耗的同时，保持了模型的性能，并且易于与现有技术结合使用。
《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》论文笔记
weixin_44815943的博客
07-07 819
这个思想与ALBERT中分解Embedding层的思想非常相似，只是LORA的作用范围主要应用在LLM中的注意力层。的秩值相同，则相当于Fine-tuning同等规模的模型参数，因此参数。注意在LORA中有两个重要的超参数，第一个是秩超参数。因此基于假设，作者提出将变量。缩放，控制新引入权重对预训练权重的影响程度。可以引入一个新的模型权重变量。，将毫无意义，因为在LLM中，变量。是预训练模型参数，如何在保持。不变的条件下，改变输出变量。的秩（RANK）远小于变量。分解为两个低维度的变量。
论文略读：LoRA+: Efficient Low Rank Adaptation of Large Models
qq_40206371的博客
11-01 371
ICML 2024从理论分析了LoRA最优解必然是右矩阵的学习率大于左矩阵的学习率（数量级差距是O(n)）
【论文精读】一文搞定LoRA的原理细节，LoRA论文精读
m0_65708726的博客
11-23 999
本人的对于LoRA论文的细致阅读，包含了一些不懂的前置知识，可以从0入手。
【论文&代码阅读】LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS
weixin_50862344的博客
04-30 2855
LoRA允许我们通过优化适应过程中密集层变化的秩分解矩阵来间接训练神经网络中的一些密集层，同时保持预先训练的权重冻结。具体来说，给定一个矩阵A，低秩分解将其分解为两个矩阵U和V的乘积，其中U和V的秩均比A的秩小，且乘积矩阵与原矩阵相等。对于预训练的权重矩阵W0∈Rd×k，我们通过用低秩分解W0+∆W=W0+BA表示后者来约束其更新，其中B∈Rd×r，a∈Rr×k,秩r是d，k的较小值。我们提出了低秩自适应，即LoRA，它冻结预先训练的模型权重，并将可训练的秩分解矩阵注入Transformer架构的每一层。
论文解读 翻译：LoRA：大型语言模型的低秩适应
强化学习曾小健
06-21 823
从第二个式子可以看到，尽管参数看起来增加了（多了Δ Φ ( Θ ) \Delta \Phi\left(\Theta\right)ΔΦ(Θ)），但是从前面的max的目标来看，需要优化的参数只有Θ \ThetaΘ，而根据假设，Θ < < Φ \Theta
在银行系统已接入DeepSeek（深度求索AI模型）的基础上，接入RAG（Retrieval-Augmented Generation）与LoRA（Low-Rank Adaptation）技术可进一步优化模型性能。接入部分的代码请用Java写
02-22
<think>嗯，用户问的是在银行系统已经接入了DeepSeek模型的情况下，如何进一步用RAG和LoRA技术优化模型性能，并且要求接入部分的代码用Java写。首先，我需要确认自己对这两个技术的理解是否正确，然后再考虑如何在Java中实现。 首先，RAG是检索增强生成，结合了检索外部知识库和生成模型的能力。在银行场景中，可能需要实时查询金融产品信息、政策法规或者用户历史数据。所以，用户可能需要一个高效的检索系统，比如使用Elasticsearch或者向量数据库，然后结合生成模型来生成更准确的回答。 然后是LoRA，这是一种微调大模型的方法，通过低秩矩阵适应，可以在不改变原模型参数的情况下，用较小的参数量来调整模型行为。对于银行来说，可能需要在特定任务上微调模型，比如客服对话、风险评估等，同时保持模型原有的通用能力。 接下来，用户需要的是Java代码示例。不过，这里可能存在一些挑战，因为通常像LoRA这样的微调操作可能在Python中更常见，使用诸如Hugging Face的Transformers库。而Java在深度学习框架方面可能不如Python丰富，但仍有Deep Learning4J这样的库。不过，用户可能已经接入了DeepSeek模型，可能通过API或者某种服务的方式调用，所以实际代码可能需要结合REST API调用或者现有的Java库。 首先，关于RAG部分。在Java中，可能需要连接到一个检索系统，比如Elasticsearch，执行查询，获取相关文档，然后将这些文档作为上下文输入到DeepSeek模型中。这里需要处理检索、上下文拼接等步骤。代码示例可能包括使用Elasticsearch的Java客户端进行查询，然后构造包含上下文的请求体，发送到DeepSeek的API。 然后是LoRA部分。LoRA的实现通常涉及在模型训练时添加适配器层。如果在Java中进行微调，可能需要使用支持LoRA的库，但常见的实现可能更多在Python中。不过，用户可能已经有一个微调后的模型，通过API调用，所以在Java中可能只需要在调用模型时指定使用的LoRA适配器（比如传递一个适配器ID或名称参数）。或者，如果需要在客户端进行实时适配，这可能比较复杂，可能需要加载模型参数，这在Java中可能不太方便。所以可能的代码示例是调用已经部署好的带有LoRA适配器的模型服务，传递适配器参数。 不过，用户可能希望的是在现有系统中集成这两个技术，因此可能需要考虑如何在现有架构中添加检索步骤，以及如何调用带有LoRA适配器的模型。假设DeepSeek的API已经支持LoRA适配器，那么Java代码中可能需要添加相应的参数。 现在需要组织这些思路，给出结构化的回答，包括技术简介、优化场景、代码示例以及注意事项。需要注意代码示例可能需要简化，比如使用伪代码或假设的API调用方式，因为实际实现可能依赖具体的库或服务接口。 另外，用户可能是在银行的技术部门工作，需要确保代码的安全性和高效性，所以可能需要提到相关的最佳实践，比如缓存检索结果、微调时的数据隐私保护等。同时，可能要考虑性能问题，比如检索系统的响应时间，模型调用的延迟等。 总结一下，回答的结构应该是： 1. RAG和LoRA的简介及其在银行系统中的优化场景。 2. RAG的Java代码示例，包括检索部分和模型调用。 3. LoRA的Java代码示例，可能涉及调用带有适配器参数的模型API。 4. 注意事项，包括性能、安全、数据隐私等。 5. 结语，总结好处。 在编写代码示例时，可能需要假设使用某些库或框架，比如Elasticsearch的Java客户端，以及HTTP客户端发送请求到模型API。同时，需要确保代码示例简洁，符合Java的语法规范，并且适当添加注释。 最后，需要验证这些思路是否正确，是否有遗漏的关键点，比如RAG中上下文如何拼接，是否截断，如何处理检索失败的情况，或者LoRA适配器的具体调用方式等。可能需要进一步明确用户的具体需求，但根据问题描述，用户可能希望一个高层次的示例，所以保持代码示例的简洁和示范性是关键。</think>在银行系统中结合RAG与LoRA技术可显著提升AI模型的精准度和专业性。以下为技术简介及Java接入示例： --- ### **一、技术价值与场景** 1. **RAG（检索增强生成）** - **作用**：实时检索知识库补充上下文（如产品条款/风控规则） - **银行场景**：客户咨询应答、合规审查、风险预警 2. **LoRA（低秩适配微调）** - **作用**：低成本微调模型适配专业任务（参数更新量<1%） - **银行场景**：信贷报告生成、交易数据分析、个性化推荐 --- ### **二、Java代码实现示例** #### **1. RAG模块实现** ```java // 伪代码需替换实际SDK调用 public class RagService { // 检索知识库（示例：Elasticsearch） public List<Document> retrieveRelevantDocs(String query) { RestClient client = RestClient.builder( new HttpHost("es-host", 9200, "http")).build(); Request request = new Request("GET", "/knowledge_base/_search"); request.setJsonEntity("{ \"query\": { \"match\": { \"content\": \"" + query + "\" } } }"); Response response = client.performRequest(request); return parseDocuments(response.getEntity().getContent()); } // 拼接上下文调用DeepSeek public String generateWithRAG(String userQuery) { List<Document> docs = retrieveRelevantDocs(userQuery); String context = docs.stream().map(Document::getText).collect(Collectors.joining("\n")); String prompt = "基于以下信息回答问题：\n" + context + "\n\n问题：" + userQuery; return DeepSeekClient.generate(prompt); // 假设已有模型调用封装 } } ``` #### **2. LoRA适配调用** ```java // 假设模型服务支持LoRA适配器切换 public class LoraAdapterService { public String generateWithLora(String input, String adapterId) { JsonObject requestBody = new JsonObject(); requestBody.addProperty("input", input); requestBody.addProperty("adapter_id", adapterId); // 指定业务适配器（如loan_risk_v1） HttpResponse response = Unirest.post("https://api.deepseek.com/v1/generate")
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值