（2025|AIRI，LoRA 知识集成）在 LoRA 中可装入多少知识而不损害 LLM？

已于 2025-03-06 10:56:12 修改
阅读量824 收藏 14
点赞数 8
分类专栏： 论文笔记 文章标签： 人工智能 深度学习 计算机视觉 语言模型
于 2025-03-06 10:53:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44681809/article/details/146059896
版权

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

目录

1. 引言

2. 相关工作

3. 研究设计

4. 实验

5. 分析

6. 额外实验：Mistral

7. 结论

1. 引言

大语言模型（LLM）因其在众多任务中的卓越表现而被广泛应用，但其性能受限于预训练期间学到的知识。LoRA（Low-Rank Adaptation）是一种流行的高效训练技术，可用于调整 LLM 以适应特定领域。然而，在使用 LoRA 注入新知识的过程中，可能会损害模型先前学到的知识。

本文通过对 Llama-3.1-8B-Instruct 进行 LoRA 微调，并控制新知识的数量，研究如何平衡新知识的引入与模型整体能力的保持。

研究发现，

  • 混合已知与新知识的数据可获得最佳结果，但仍会导致模型在外部问答基准测试上的性能下降。
  • 当训练数据偏向某些特定实体时，模型可能倾向于生成过度集中的答案。
  • LoRA 训练的模型更倾向于自信地给出答案，并较少拒绝回答。

研究结果突出了 LoRA 适配器的潜在风险，并强调了训练数据的构成和参数调优对平衡新知识整合与保持模型能力的重要性。

2. 相关工作

LLM 的性能在处理长尾事实（long-tail facts）时存在不足，这使得非参数化知识（如检索增强生成 RAG）或知识的直接整合成为可能的解决方案。然而，RAG 需要外部知识库支持，且可能会影响 LLM 原有的内部知识。

在知识更新方面，LoRA 作为一种冻结预训练权重并在 Transformer 层中注入可训练低秩矩阵的技术，被认为是高效的解决方案。然而，LoRA 也存在“灾难性遗忘”问题，可能导致模型对先前学习的知识丧失。此外，许多当前的知识编辑方法在准确性、召回率（recall）和幻觉率之间存在权衡。

3. 研究设计

研究主要评估 LoRA 适配器的知识集成能力及其对模型整体性能的影响。

LoRA 适配原理：LoRA 通过低秩分解方法更新模型的权重矩阵 W：

  • W  = W_0 + ΔW = W_0 + BA
  • 其中 B 和 A 为低秩矩阵，确保可训练参数量远低于完整模型微调。

知识分类：

  • 已知知识（HighlyKnown, HK）：模型在不同提示下始终能正确回答的问题。
  • 可能已知知识（MaybeKnown, MK）：模型在不同提示下有时会正确回答的问题。
  • 未知知识（Unknown, UK）：模型在任何提示下均无法正确回答的问题。

模型可靠性： 研究考察模型在多轮知识编辑后的稳定性，即是否仍然能够保持先前的编辑，并评估知识获取的可靠性。

不良效应评估： 采用 TruthfulQA 和 MMLU 基准评测模型的推理能力与真实度，以观察 LoRA 训练是否会损害原始模型的能力。

4. 实验

实验使用 Llama-3.1-8B-Instruct 进行 LoRA 训练，重点评估模型对未知知识的学习情况及其对整体性能的影响。

数据构建：

  • 训练数据基于 DBpedia 知识图谱生成，包括 <主语，关系，宾语> 三元组，并确保这些数据未包含于 LLM 预训练语料中。
  • 采用 TriviaQA 数据集生成额外的 HighlyKnown 样本，以帮助测试模型在已知知识上的表现。

微调策略：

  • 训练数据包含 1、10、50、100、500、3000 个未知知识样本（q，a）。
  • 仅根据新知识对 LoRA 进行微调具有挑战性。可用合成数据扩充（augment）训练数据集，包括 0、1、10 个已知知识样本或问题（q）的同义改写

评估方法：

  • 使用 5-shot 方式评估 MMLU（知识与推理能力）。
  • 使用 0-shot 方式评估 TruthfulQA（真实性）。
  • 计算知识转变（Knowledge Shifts）：
    • 正向转变（Positive shift）：如 UK → HK 或 MK → HK。
    • 负向转变（Negative shift）：如 HK → UK 或 HK → MK。

5. 分析

研究分析了 LoRA 训练对知识获取和保持的影响。

准确性（Accuracy）：

  • 模型最多可学习 500 个未知样本，而 3000 个未知样本的训练需要更多轮次才能收敛。
  • 在少量未知数据（≤100）的情况下，加入 HighlyKnown 样本有助于减少负向转变。

知识转变（Knowledge Shifts）：

  • 负向转变（丢失知识）通常比正向转变（学习新知识）更频繁。
  • 添加 HighlyKnown 数据可有效减少负向转变。

基准测试结果（Benchmarks）：

  • LoRA 训练通常会导致 MMLU 评测成绩下降，尤其是加入过多 HighlyKnown 或 Paraphrase 样本时。
  • TruthfulQA 评测中，训练数据包含更多 Paraphrase 样本的模型表现较佳，表明 LoRA 训练可能影响模型的真实性回答能力。

解释知识转变的原因：

  • LoRA 训练后的模型更少拒绝回答问题（从 15% 降至接近 0%）。
  • 训练后的模型可能会偏向生成某些特定答案（即 “答案爆炸” 现象）。

6. 额外实验：Mistral

为了验证 LoRA 适配器的影响是否适用于其他 LLM，研究对 Mistral-7B-Instruct-v0.3 进行了相同的实验。

结果显示：

  • 知识转变趋势相似，即 HighlyKnown 样本的加入有助于减少负向转变。
  • 模型质量下降趋势相同，随着训练数据中新知识的增加，Mistral 7B 也出现类似的性能下降。

7. 结论

研究表明：

  • 结合未知与已知知识的训练数据可优化知识学习效果，但可能损害模型的整体能力。
  • 少量新知识的引入可能导致大幅推理能力下降（MMLU 下降）。
  • LoRA 训练后的模型更倾向于自信作答，甚至在不确定情况下也会强行生成答案。
  • LoRA 训练可能使模型在某些问题上产生 “答案爆炸”，即频繁重复某些特定答案。

论文地址：https://arxiv.org/abs/2502.14502

项目页面：https://github.com/AIRI-Institute/knowledge-packing

进 Q 学术交流群：922230617 或加 V：CV_EDPJ 进 V 交流群

合作联系同上，请备注说明

通过非欧几何体改变 AI 嵌入
gongdiwudu的专栏
06-02 3474
​ 这是一篇大咖的论文阅读，是Apple 首席工程师Manny Ko分享的精彩论文。这篇文章很大程度上是许多有趣的对话和来回的综合。对于LLM之所以引进复数嵌入，以及如何嵌入有清晰全面的理解，堪称里程碑式的作品。
The What, Why, and How of Context Length Extension Techniques in Large Language Models
c_cpp_csharp的专栏
03-02 721
大型语言模型（LLM）的出现代表了自然语言处理（NLP）的一个显著突破，有助于在文本理解和生成方面取得实质性进展。然而，在这些进步中，值得注意的是，LLM在上下文长度外推方面经常面临限制。理解和扩展LLM的上下文长度对于提高其在各种NLP应用程序中的性能至关重要。在这篇调查论文中，我们深入探讨了为什么它是必不可少的多方面问题，以及高级技术可能给NLP应用带来的潜在转变。我们研究了与延长上下文长度相关的固有挑战，并对研究人员使用的现有策略进行了有组织的概述。
什么是LoRA模型？如何使用和训练LoRA模型？你想要的都在这！
阿道夫的博客
07-08 1万+
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。虽然使用成型的LoRA很方便，但通常我们在生图的，可能很难找到完全匹配的，此时就需要我们自己动手训练了，毕竟自己动手丰衣足食，几个步骤简单为大家讲解如何训练～AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。下面是我们生成出来的一组图。
理解Lora微调只需一个公式
m0_59163425的博客
05-24 3724
Lora（Low-Rank Adaptation）是一种新的模型微调技术[1].，通过在预训练模型的基础上引入低秩矩阵，实现高效、快速的模型适配。Lora在保持预训练模型性能的同时，大大减少了微调所需的计算资源和存储空间，使得在资源有限的情况下也能够进行高质量的模型微调。一、前置知识1.什么是微调，为什么要微调微调(Fine-tuning)是指在一个已经训练好的模型基础上,针对新的任务或数据,进行少量的训练,以适应新的需求。
LORA通信详解
Actkeying的博客
08-21 1万+
LORA是一种无线通信技术，采用了扩频调制技术（Spread Spectrum），通过扩展信号的带宽来提高传输距离和抗干扰能力。LORA能够在低功耗的情况下实现长距离的数据传输，适合用于需要长期稳定运行的设备，如传感器和远程监控系统。LORA工作在ISM（工业、科学和医疗）频段，常见的频段包括868 MHz（欧洲）、915 MHz（美国）和433 MHz（中国）。其主要优势在于超长距离的通信能力、低功耗特性以及较强的信号抗干扰能力。
【物联网】Lora简介
大雨淅淅的博客
07-23 5053
oRa的目的是为了解决功耗与传输难覆盖距离的矛盾问题。通常，低功耗的无线方式传输距离较近，而高功耗的无线方式则传输距离较远。然而，LoRa技术的出现打破了这一常规，它在低功耗的条件下实现了远距离的传输，为物联网（IoT）应用提供了强有力的支持。
LoRA模型是什么？
常备不懈
04-11 2万+
LoRA（Low-Rank Adaptation of Large Language Models，大型语言模型的低秩适应）是微软研究员提出的一种新颖技术，旨在解决微调大型语言模型的问题。研究人员发现，通过专注于大型语言模型的Transformer注意力块，LoRA的微调质量与完整模型的微调相当，同时速度更快，计算需求更低。训练权重更小，因为原始模型被冻结，我们注入新的可训练层，可以将新层的权重保存为一个约3MB大小的文件，比UNet模型的原始大小小了近一千倍。
Keqing：基于知识的问答是LLM的天然CoT导师
qq_53347752的博客
03-28 1004
大型语言模型（LLMs）在各种自然语言处理（NLP）任务中表现出了非凡的性能，特别是在问答方面。然而，面对超出知识范围的问题时，这些LLMs往往会一本正经地胡说八道。潜在的解决方案可能是融入一个信息检索（IR）模块，并基于检索到的知识生成回答。
【论文精读】让智能体更聪明的LTC框架
2401_82452722的博客
04-23 1215
然而，对于GSM8k数据集，由于GPT3在处理数学问题方面的表现不足，导致正面例子稀缺，所以改用GPT4。在近期的LLM研究进展中，越来越多的实验探索是围绕着拟人智能体展开的，除了提示（Prompt）的设计，还关注如何利用外部环境中语言反馈和非语言奖励信号来训练大模型智能体。例如：在多人角色扮演桌游中，玩家交互中产生了大量的语言数据，同时游戏中会有明确的非语言奖励信号（比如胜利或失败），现有方法中，都是使用语言数据进行指令微调，而奖励信号仅用作过滤标准，用于筛选用于指令微调的数据，而不是强化学习的目标。
LM2 : A Simple Society of Language Models Solves Complex Reasoning
最新发布
weixin_43961909的博客
11-15 1465
尽管展示了新兴的推理能力，大型语言模型 (LLMS) 通常会失去对复杂、多步骤推理的跟踪。现有研究表明，通过将原始问题分解为多个子问题来提供指导可以使 LLM 推理更具鲁棒性——分解器生成子问题，求解器解决每个子问题。然而，这些技术无法适应分解器和求解器模块之间的协调（无论是在单个模型中还是在不同的专门模型中）——分解器不会跟踪求解器遵循分解推理的能力。在本文中，我们提出 LM2 来解决这些挑战。LM2 将分解、解决方案和验证模块化为三个不同的语言模型。
大语言模型微调实践——LoRA 微调细节
LF_AI的博客
08-21 5565
1. 引言近年来人工智能领域不断进步，大语言模型的崛起引领了自然语言处理的革命。这些参数量巨大的预训练模型，凭借其在大规模数据上学习到的丰富语言表示，为我们带来了前所未有的文本理解和生成能力。然而，要使这些通用模型在特定任务上发挥出色，还需借助微调技术。大语言模型的微调技术已经成为自然语言处理领域的一个焦点，其不断的演化和创新正引领着我们进入一个更加精细、个性化的文本处理时代。在本文中，我们将选取...
什么是LoRa？
热门推荐
luoyir1997的博客
07-05 5万+
1.LoRa：概述：智能物联网应用改善了我们的生活方式，并且正在解决城市和社区面临的一些挑战：气候变化，污染控制，自然灾害预警和生命急救。企业也通过改进运营和效率以降低成本获取效益。这种无线射频技术正在应用到汽车，路灯，制造设备，家用电器，可穿戴设备中。LoRa技术使我们的世界成为一个智慧星球。2.LoRawan技术支持的公司：3.lora基本网络架构：总结：由若干终端end nodes采集底层数...
1 LoRa 基本知识（参考LoRa物联网通信技术）
iloveluoluo一个小白程序员
03-07 1万+
1 LoRa 基本知识（参考《LoRa物联网通信技术》）
LORA的基本原理
TFATS的博客
01-11 9082
LoRA 是一种低资源微调大模型方法。使用LORA，训练参数仅为整体参数的万分之一、GPU显存使用量减少2/3且不会引入额外的推理耗时。
大模型高效微调-LoRA原理详解和训练过程深入分析
SHIDACSDN的博客
06-11 4858
博客首发于我的知乎，详见：https://zhuanlan.zhihu.com/p/702629428 一、LoRA原理 LoRA(Low-Rank Adaptation of LLMs)，即LLMs的低秩适应，是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所得的增量参数，从而达到使用更少显存占用的高效微调。 1.1 问题定义 LoRA与训练目标是解耦的，...
LoRa无线网络技术概述
海纳百川
12-23 1万+
LoRa无线网络基础知识
大模型微调技术：LoRA与QLoRA的比较与选择
ASS-ASH的博客
10-12 5154
总的来说，大模型微调技术LoRA和QLoRA都是为了解决大规模模型微调成本高昂的问题而提出的。而QLoRA技术则通过使用高精度权重和可学习低秩适配器，既降低了微调成本，又提高了模型的准确性。它可以将650亿参数的LLaMA模型的微调成本从超过780GB的GPU内存降低到小于48GB，同时保持了很高的准确性。这使得QLoRA微调技术成为了一种非常有前途的方法，可以广泛应用于各种大规模模型微调的场景。然而，这些模型的训练和微调成本高昂，尤其是对于缺乏足够计算资源和存储容量的终端用户来说。
【IOT】什么是Lora？
picassocao的博客
07-07 2708
Lora无线通讯
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值