[论文精读]LoRA: Low-Rank Adaptation of Large Language Models

最新推荐文章于 2025-04-26 22:40:23 发布
最新推荐文章于 2025-04-26 22:40:23 发布
阅读量1.5k 收藏 30
点赞数 10
分类专栏： 论文精读 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52911108/article/details/143391444
版权

LoRA: Low-Rank Adaptation of Large Language Models

http://arxiv.org/abs/2106.09685

低秩矩阵训练大模型，有效减小开销、即插即用、对内部参数的变化不大，不得不学。

lora框架冻结预训练模型的权重并插入可训练的秩分解矩阵到Transformer架构的每一层中，这样可以有效减小下游任务所需训练参数

lora的优势：

  1. 通过置换图一中的矩阵A和B，可以高效的切换下游任务类型，且任务切换所需开销更小
  2. lora使得训练更加高效且降低了硬件准入门槛约三倍，原因在于并不需要计算梯度或者维持优化器数据，只用优化插入的更小型的低秩矩阵
  3. 简单的线性设计允许在部署时将可训练矩阵与冻结权重合并，与完全微调的模型相比，通过构建不会引入推理延迟。
  4. LoRA 与许多以前的方法正交，可以与其中许多方法结合使用，例如前缀调整。

将 Transformer 层的输入和输出维度大小称为d_{model} 。我们使用 Wq 、 Wk、Wv 和 Wo 来引用 自注意力模块中的 query/key/value/output （查询、键、值、输出）投影矩阵。 W 或者 W0 是指预先训练的权重矩阵及其 Δ​W 是在适应过程中的累积梯度更新。用 r 表示 LoRA 模块的 秩。使用Adam 进行模型优化，并使用 Transformer MLP 前馈维度 d_{ffn} = 4 \times d_{model}。

 问题陈述

全参微调的时候，模型参数是加载的预训练参数，然后通过任务积累的梯度来逐渐调整参数值，目标是最大化条件语言建模目标：

 全参微调的缺点是对于每一个不同的下游任务，学到的参数是不同的，且其维度大小和初始参数的维度一致，不管是存储还是开发都会是极具挑战性的。

文章则针对全参微调在LLM条件下不现实且不高效的问题，采用了一种参数效率更高的方法，其中特定于任务的参数增量 Δ​Φ=Δ​Φ​(Θ) 由更小的参数 Θ 集进一步编码。 |Θ|≪|Φ0| 因此，查找 Δ​Φ 的任务变成了优化 ： Θ

以GPT3 175B参数模型为例，使用LORA框架进行微调，需要训练的参数量是原始参数量的0.01%

现有解决方案存在一定的问题

以语言模型为例，在高效调整方面有两个主要的策略：添加适应层或者优化某些形式的输入层激活

适配层增添了推理延迟

适配器有很多变体。 我们专注于 Houlsby 等 人（2019 年）的原始设计，每个 Transformer 模块有两个适配器层，而 Lin 等 人（2020 年）最近的设计每个模块只有一个，但有一个额外的 LayerNorm（Ba 等 人，2016 年）。虽然

最低0.47元/天 解锁文章
lora:low-rank adaption of large language models
liguandong
03-10 2939
根据之前的一些工作，发现大模型其实是过参数化的， 有更小的一个内在维度，于是文章做了一个假设，模型在任务适配过程中，参数的改变量是低秩的，在训练过程中，lora单独去学习这个改变量，而不是去学习模型的参数，通过把最终训练得到的参数分解为原参数W0和该变量deltaW进行相加，论文假设deltaW是低秩的，把deltaW进一步拆分为低秩矩阵A和低秩矩阵B，如图1所示，而在推理的过程中，由于模型参数已经固定不再变动，这时候把模型的改变量直接放到模型里，这样在推理的计算过程中，就避免了一次额外的矩阵乘法开销。
20篇AI大模型与Agent开发必读论文
互联网架构师笔记
03-28 560
证明模型参数与训练数据的均衡缩放法则（70B参数+1.4T tokens最优）。：提出推理（Reasoning）与行动（Action）协同的Agent架构。：学习数据缩放定律（Scaling Laws）与Prompt工程基础。：验证大规模预训练模型（175B参数）的上下文学习能力。：学习具身智能（Embodied AI）的实现路径。：在《我的世界》中实现终身学习的自主探索Agent。：提出混合专家模型（MoE）实现万亿参数级别扩展。：基于人类反馈的强化学习（RLHF）实现模型对齐。
【论文分享】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
m0_53162279的博客
10-12 2095
现在大模型一般是预训练模型通过微调实现特定任务。预训练模型更大时，全量微调的实现代价高。本文提出低秩自适应（Low-Rank Adaptation, LoRA）微调技术，它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到Transformer架构的每一层，从而大大减少了下游任务的可训练参数的数量。GitHub仓库：https://github.com/microsoft/LoRA。
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
qq_43800752的博客
06-01 2712
自然语言处理的一个重要范式是在通用领域数据上进行大规模预训练，然后根据特定任务或领域进行适应性训练。随着我们对模型进行更大规模的预训练，完全微调（重新训练所有模型参数）变得越来越不可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例有175B个参数，成本过高。我们提出了低秩适应（Low-Rank Adaptation，LoRA）方法，该方法冻结预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer架构的每个层中，从而大大减少了下游任务的可训练参数数量。
LoRA（Low-Rank Adaptation of Large Language Models）
最新发布
Rhett_Butler0922的博客
04-26 996
矩阵低秩分解是指将一个大矩阵分解为两个或多个较小矩阵的乘积，这些较小矩阵的维度远低于原始矩阵，从而用更少的参数近似表示原始矩阵。矩阵的秩（Rank）矩阵的秩是矩阵中线性无关的行或列的最大数量，反映了矩阵的信息含量。例如，一个Rd×kRd×k的矩阵WWW，其秩rankW≤min⁡dkrankW≤mindk。如果rankW≪min⁡dkrankW≪mindk，我们称WWW为低秩矩阵，意味着它可用更少的参数表示。低秩分解的基本形式。
Lora：Low-Rank Adapation of Large Language models
Hanze的博客
04-02 1262
W或W0指的是预训练的权重矩阵，∆W指的是适应过程中的累积梯度更新。这个额外的矩阵是支持热‘插拔的’，是指我可以在不同的下游任务应用不同的矩阵，比如我想做词性标注，我只需要原始的Pre-train model 加上在词性标注数据上finetune 的 BA就可以了，并且速度不受影响。作者假设在微调时，Pre-train model的权重矩阵在过度更新参数时，它的权重矩阵的秩是很低的，于是作者的想法就是把 一些Dense layer的权重替换成低秩分解矩阵，然后作者发现效果也不错。
【论文速读】LoRA：Low-rank adaptation of large language models
weixin_43457608的博客
10-14 1011
自然语言处理的一个重要范例包括对一般领域数据进行大规模的预训练和对特定任务或领域的适应。当我们对更大的模型进行预训练时，重新训练所有模型参数的完全微调就变得不那么可行了。以GPT-3 175B为例——部署微调模型的独立实例，每个模型都有175B参数，这是非常昂贵的。我们提出了Low-Rank Adaptation，或称LoRA，它冻结了预先训练的模型权值，并将可训练的秩分解矩阵注入变压器架构的每一层，大大减少了下游任务的可训练参数的数量。
【论文阅读】CRoSS: Diffusion Model Makes Controllable, Robust and Secure Image Steganography
生命不息，代码不止
12-19 1166
提出了一种新颖的图像隐写框架，称为可控、鲁棒和安全图像隐写 (CRoSS)，与基于封面的图像隐写方法相比，它在可控性、鲁棒性和安全性方面具有显著优势。这些好处无需额外训练即可获得。据我们所知，这是首次将扩散模型引入图像隐写领域的工作。代码可在上找到。**传统方法的不足：**目前的图像隐写技术主要集中在基于封面的方法上，这些方法通常存在泄露秘密图像的风险，并且对退化的容器图像的鲁棒性较差。$ X_{sec}隐藏在隐藏在隐藏在X_{cont}中，经过互联网传输后，从中，经过互联网传输后，从。
欺诈文本分类检测（九）：微调方法概览
golfxiao的专栏
08-29 1593
大语言模型(LLM)的训练过程通常分为两大阶段：此阶段模型是在大规模的上接受训练，目标是使模型掌握词汇的含义、句子的构造规则以及文本的基本信息和上下文。需特别指出，预训练实质上是一种无监督学习过程。完成预训练的模型，亦即基座模型(Base Model)，拥有了普遍适用的预测能力。像modelscope上带字样的就是预训练模型。 预训练完成的模型接下来会在针对性的任务数据集上接受更进一步的训练。这一阶段主要涉及对模型权重的细微调整，使其更好地适配具体任务。最终形成的模型将具备不同的能力，如gpt chat系列
【LLM大模型】指令微调、peft高效参数微调
热门推荐
发现问题，并解决问题，批判性思维
05-07 1万+
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models
ld326的专栏
06-13 3045
从效果来看，不论预训练模型的大小，LoRA采用更少的参数，可以达到全参模型的更好的效果。
LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的
08-01
LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的低秩适应
【学习笔记】LoRA: Low-Rank Adaptation of Large Language Models
weixin_45838549的博客
03-15 1159
TitleLoRA: Low-Rank Adaptation of Large Language ModelsJournal ()AuthorsHu Edward J.,Shen Yelong,Wallis Phillip,Allen-Zhu Zeyuan,Li Yuanzhi,Wang Shean,Wang Lu,Chen WeizhuPub.date2021-10-16将大模型应用于下游任务时，通常需要进行微调，即更新预训练模型的所有参数。微调的主要缺点是新模型包含的参数与原模型一样多。存储和加载除预训
【论文笔记】LoRA: Low-Rank Adaptation of Large Language Models
小嗷犬的博客
11-17 1391
自然语言处理的一个重要范例是在通用领域数据上进行大规模预训练，并适应特定任务或领域。随着我们预训练更大规模的模型，全量微调，即重新训练所有模型参数，变得越来越不可行。以GPT-3 175B为例——部署独立实例的微调模型，每个模型都有175B个参数，成本过高。我们提出了低秩适应，或称LoRA，它冻结预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer架构的每一层，极大地减少了下游任务的可训练参数数量。
文献阅读：LoRA: Low-Rank Adaptation of Large Language Models
codename_cys的博客
12-31 1616
文献阅读：LoRA: Low-Rank Adaptation of Large Language Models
LoRA: Low-Rank Adaptation of Large Language Models低秩自适应
emphmeral的博客
02-23 5364
通过矩阵分解降低LLM中的模型参数
[论文笔记]LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
日积月累，天道酬勤
05-16 1656
⭐ 作者提出了LoRA，冻结了预训练模型的权重，将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数数量。同时秩分解矩阵和原始矩阵可以合并，可以不引入推理延迟。
（第24篇）lora论文讲解LoRA: Low-Rank Adaptation of Large Language Models（微调、预训练模型）
weixin_74009895的博客
04-14 683
①微调（Fine-Tuning, FT）对模型所有参数进行完整更新。缺点：参数量大、训练成本高（如 GPT-2 Medium 的可训练参数达 354.92M）。②偏置微调（Bias-only, BitFit）仅训练模型中的偏置参数，其余参数冻结。参数量小，但效果可能不如其他方法。③前缀嵌入微调（Prefix Embedding Tuning, PreEmbed）在输入中插入优化的提示标记（Prompt）作为额外的嵌入，模型根据这些标记调整输出。可训练参数量与标记长度成正比。
论文阅读之LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS（2021）
学习笔记
03-22 2756
LoRA的核心思想是在预训练模型的基础上，通过注入可训练的低秩分解矩阵到Transformer架构的每一层，而不是对所有模型参数进行微调（fine-tuning），从而大幅减少下游任务的可训练参数数量。而且，当我们面对不同的下游任务时，因为原本的预训练模型是冻结的，所以预训练模型用一个就行，只需要保存的参数就是加入的低秩矩阵，这样的话，也能节省大量的存储空间。总的来说，文章的主要贡献在于提出了一种新的、高效的大型语言模型适应方法，这种方法在减少资源消耗的同时，保持了模型的性能，并且易于与现有技术结合使用。
在银行系统已接入DeepSeek（深度求索AI模型）的基础上，接入RAG（Retrieval-Augmented Generation）与LoRA（Low-Rank Adaptation）技术可进一步优化模型性能。接入部分的代码请用Java写
02-22
<think>嗯，用户问的是在银行系统已经接入了DeepSeek模型的情况下，如何进一步用RAG和LoRA技术优化模型性能，并且要求接入部分的代码用Java写。首先，我需要确认自己对这两个技术的理解是否正确，然后再考虑如何在Java中实现。 首先，RAG是检索增强生成，结合了检索外部知识库和生成模型的能力。在银行场景中，可能需要实时查询金融产品信息、政策法规或者用户历史数据。所以，用户可能需要一个高效的检索系统，比如使用Elasticsearch或者向量数据库，然后结合生成模型来生成更准确的回答。 然后是LoRA，这是一种微调大模型的方法，通过低秩矩阵适应，可以在不改变原模型参数的情况下，用较小的参数量来调整模型行为。对于银行来说，可能需要在特定任务上微调模型，比如客服对话、风险评估等，同时保持模型原有的通用能力。 接下来，用户需要的是Java代码示例。不过，这里可能存在一些挑战，因为通常像LoRA这样的微调操作可能在Python中更常见，使用诸如Hugging Face的Transformers库。而Java在深度学习框架方面可能不如Python丰富，但仍有Deep Learning4J这样的库。不过，用户可能已经接入了DeepSeek模型，可能通过API或者某种服务的方式调用，所以实际代码可能需要结合REST API调用或者现有的Java库。 首先，关于RAG部分。在Java中，可能需要连接到一个检索系统，比如Elasticsearch，执行查询，获取相关文档，然后将这些文档作为上下文输入到DeepSeek模型中。这里需要处理检索、上下文拼接等步骤。代码示例可能包括使用Elasticsearch的Java客户端进行查询，然后构造包含上下文的请求体，发送到DeepSeek的API。 然后是LoRA部分。LoRA的实现通常涉及在模型训练时添加适配器层。如果在Java中进行微调，可能需要使用支持LoRA的库，但常见的实现可能更多在Python中。不过，用户可能已经有一个微调后的模型，通过API调用，所以在Java中可能只需要在调用模型时指定使用的LoRA适配器（比如传递一个适配器ID或名称参数）。或者，如果需要在客户端进行实时适配，这可能比较复杂，可能需要加载模型参数，这在Java中可能不太方便。所以可能的代码示例是调用已经部署好的带有LoRA适配器的模型服务，传递适配器参数。 不过，用户可能希望的是在现有系统中集成这两个技术，因此可能需要考虑如何在现有架构中添加检索步骤，以及如何调用带有LoRA适配器的模型。假设DeepSeek的API已经支持LoRA适配器，那么Java代码中可能需要添加相应的参数。 现在需要组织这些思路，给出结构化的回答，包括技术简介、优化场景、代码示例以及注意事项。需要注意代码示例可能需要简化，比如使用伪代码或假设的API调用方式，因为实际实现可能依赖具体的库或服务接口。 另外，用户可能是在银行的技术部门工作，需要确保代码的安全性和高效性，所以可能需要提到相关的最佳实践，比如缓存检索结果、微调时的数据隐私保护等。同时，可能要考虑性能问题，比如检索系统的响应时间，模型调用的延迟等。 总结一下，回答的结构应该是： 1. RAG和LoRA的简介及其在银行系统中的优化场景。 2. RAG的Java代码示例，包括检索部分和模型调用。 3. LoRA的Java代码示例，可能涉及调用带有适配器参数的模型API。 4. 注意事项，包括性能、安全、数据隐私等。 5. 结语，总结好处。 在编写代码示例时，可能需要假设使用某些库或框架，比如Elasticsearch的Java客户端，以及HTTP客户端发送请求到模型API。同时，需要确保代码示例简洁，符合Java的语法规范，并且适当添加注释。 最后，需要验证这些思路是否正确，是否有遗漏的关键点，比如RAG中上下文如何拼接，是否截断，如何处理检索失败的情况，或者LoRA适配器的具体调用方式等。可能需要进一步明确用户的具体需求，但根据问题描述，用户可能希望一个高层次的示例，所以保持代码示例的简洁和示范性是关键。</think>在银行系统中结合RAG与LoRA技术可显著提升AI模型的精准度和专业性。以下为技术简介及Java接入示例： --- ### **一、技术价值与场景** 1. **RAG（检索增强生成）** - **作用**：实时检索知识库补充上下文（如产品条款/风控规则） - **银行场景**：客户咨询应答、合规审查、风险预警 2. **LoRA（低秩适配微调）** - **作用**：低成本微调模型适配专业任务（参数更新量<1%） - **银行场景**：信贷报告生成、交易数据分析、个性化推荐 --- ### **二、Java代码实现示例** #### **1. RAG模块实现** ```java // 伪代码需替换实际SDK调用 public class RagService { // 检索知识库（示例：Elasticsearch） public List<Document> retrieveRelevantDocs(String query) { RestClient client = RestClient.builder( new HttpHost("es-host", 9200, "http")).build(); Request request = new Request("GET", "/knowledge_base/_search"); request.setJsonEntity("{ \"query\": { \"match\": { \"content\": \"" + query + "\" } } }"); Response response = client.performRequest(request); return parseDocuments(response.getEntity().getContent()); } // 拼接上下文调用DeepSeek public String generateWithRAG(String userQuery) { List<Document> docs = retrieveRelevantDocs(userQuery); String context = docs.stream().map(Document::getText).collect(Collectors.joining("\n")); String prompt = "基于以下信息回答问题：\n" + context + "\n\n问题：" + userQuery; return DeepSeekClient.generate(prompt); // 假设已有模型调用封装 } } ``` #### **2. LoRA适配调用** ```java // 假设模型服务支持LoRA适配器切换 public class LoraAdapterService { public String generateWithLora(String input, String adapterId) { JsonObject requestBody = new JsonObject(); requestBody.addProperty("input", input); requestBody.addProperty("adapter_id", adapterId); // 指定业务适配器（如loan_risk_v1） HttpResponse response = Unirest.post("https://api.deepseek.com/v1/generate")
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值