LLM大模型对超长文本处理的技术方案汇总（NBCE、Unlimiformer）

最新推荐文章于 2025-04-30 15:03:34 发布
最新推荐文章于 2025-04-30 15:03:34 发布
阅读量814 收藏 1
点赞数
文章标签： 深度学习 算法
原文链接：https://mp.weixin.qq.com/s/hvp4qwIDd3QQv1UEksV_Xg
版权

理论上，大模型可以处理任意长度的问题长度，但受限于GPU显存和算力，过长的文本会使GPU出现OOM内存溢出及耗时过高，用户等待时长过长问题。目前工业界对超长文本的处理，大部分通过RAG的方式处理，也是业界比较流行的，但除RAG外其实也有两大类方法，主要是按是否需要重新对齐大模型的方式分为：不训练LLM大模型和训练LLM大模型参数，其实RAG也算是不需要重新对大模型训练的一种，RAG相关本文就不再赘述。

Learning free 训练LLM大模型

Context Caching在线推理技术

  • prefix cache：https://www.53ai.com/news/qianyanjishu/2024070287924.html
  • google：https://ai.google.dev/gemini-api/docs/caching?lang=python
    在这里插入图片描述
  • 技术原理：在处理长文本或多轮对话时，经常存在一些不变的前缀部分（如系统提示或历史对话内容），这些前缀在多个请求之间是共享的。Prefix Cache通过缓存这些共享前缀的计算结果（即KV缓存），使得在后续请求中可以直接复用这些结果，而不必重新计算，显著减少了延迟和计算成本。
  • 实现Prefix Cache的一种方法是使用Radix Tree（基数树）。基数树允许动态地分割和共享前缀，使得具有共同前缀的请求可以重用相同的KV缓存块。例如，如果两个对话请求共享相同的系统提示，那么这部分的KV缓存就可以被缓存并重用

InfLLM

  • git地址：https://github.com/thunlp/InfLLM
  • 论文：https://arxiv.org/pdf/2402.04617
    在这里插入图片描述
  • 超长上下文token分为3类，Initial token、Evicted token、Local token，每次生成下一个token的时，Initial token和一个窗口内的token，Evicted token会分块，检索一部分token出来。如果检索不到，那这个方法就退化为了streaming llm方法

NBCE

苏剑林《NBCE：使用朴素贝叶斯扩展LLM的Context处理长度 》
git地址：https://github.com/bojone/NBCE
在这里插入图片描述

  • 对长文本进行分段，对每段上文进行独立编码，在输出层对每一个Step预测token的概率矩阵进行融合，更大程度上避免了注意力被分散，保证了解码的合理性

PCW

Parallel Context Windows for Large Language Models
https://github.com/AI21Labs/Parallel-Context-Windows
在这里插入图片描述

  • 对超长文本进行分段，然后独立编码，在解码过程中对全部输入上文进行Attention。对比Encoder-Decoder框架，因为输入和输出都在Decoder侧，PCW需要解决两个问题：位置编码和注意力矩阵如何调整
  • 位置编码：输入文本分段后，每段文本的位置编码相同。考虑所最长的文本长度为C，则输入文本最大的位置编码id是pc,则解码器第一个字的位置编码id是pc+1，然后顺序向后编码。其实就是丢弃了上文多段文本之间的位置关系，解码时只知道上文多段文本都是在解码器之前，但无法区分文本之间的位置。不过因为上文每段文本复用了相同的位置编码，因此位置编码的长度大幅降低，也就降低了对位置编码外推性的需求
  • 注意力矩阵：输入文本进行分段后各自独立通过进行编码。因此每一段输入的文本的注意力矩阵是相互独立的。这块不需要修改注意力矩阵的实现，只需要文本chunk后分别过模型即可。得到每段文本的past-key-values直接进行拼接

MemGPT

git代码：https://github.com/cpacker/MemGPT.git 论文：https://arxiv.org/pdf/2310.08560
在这里插入图片描述
模仿操作系统内存管理管理读写机制，通过在快速和慢速存储器之间智能地移动数据，从而在有限的上下文窗口内提供扩展的上下文。这种设计模仿了传统操作系统的内存层次结构，允许模型在执行单一任务时，通过Prompt方式反复调整其上下文内容，以更高效地利用资源

训练LLM大模型参数

LLOCO

git地址：https://github.com/jeffreysijuntan/lloco 论文：LoCO: Learning Long Contexts Offline
在这里插入图片描述

  • LLoCO技术包含两个主要部分：上下文编码器和LLM解码器。上下文编码器负责将长篇文本转换成较短的摘要嵌入，这些嵌入能够捕捉原文的核心信息，大大减少模型需要处理的令牌数量。LLM解码器则使用这些摘要嵌入来生成回答。
  • LLoCO的工作流程包括三个阶段：预处理、微调和服务:
  1. 预处理：使用上下文Encoder（如AutoCompressor）将长文档压缩成简短的摘要嵌入。
  2. 微调：利用LoRA（Low-Rank Adaptation）技术对压缩后的“作弊纸”进行参数高效的微调。
  3. 服务：使用标准的RAG（Retrieval-Augmented Generation）检索器检索压缩后的文档和最相关的LoRA模块，并将它们应用于LLM进行推理。

ICAE（上下文自动编码器）

git地址：https://github.com/getao/icae 论文：https://yiyibooks.cn/arxiv/2307.06945v3/index.html
在这里插入图片描述

  • 将长文本压缩成较短的、紧凑的内存槽位，使LLM能够在各种任务中直接使用这些内存槽位。ICAE首先在大量文本数据上使用自动编码和语言建模目标进行预训练，使其能够生成准确且全面地代表原始上下文的内存槽位。然后，在指令数据上进行微调，以产生对各种提示的理想响应。实验表明，ICAE在基于Llama模型的基础上，引入了约1%的额外参数，有效实现了4倍上下文压缩，在推理期间提高了延迟和GPU内存成本，并展示了记忆方面的有趣见解以及可扩展性潜力
  • ICAE模型的架构包括两个主要模块：
    • 编码器：可学习的编码器，使用LoRA技术从LLM中适应而来，用于将长上下文压缩成少量内存槽位。
    • 解码器：固定解码器即目标LLM本身，能够根据内存槽位进行各种任务的条件处理。
    • 在预训练阶段，ICAE使用自动编码和语言建模目标，通过大量文本数据进行训练，以生成能够准确、全面地表示原始上下文的内存槽位。预训练有助于模型泛化，使生成的内存槽位能够更准确、全面地代表原始上下文。然后，通过在指令数据上的微调，增强其与各种提示的交互，以产生理想的响应

MemLong

git地址：https://github.com/Bui1dMySea/MemLong 博客：https://avoid.overfit.cn/post/886d820cba6240bfb005e4c2378fe2e8
论文：https://arxiv.org/abs/2408.16967
在这里插入图片描述

  • 利用外部检索器来检索历史信息，从而提升上下文语言建模的能力。MemLong结合了一个不可微分的"ret-mem"模块和部分可训练的解码器语言模型，并引入了细粒度、可控的检索注意力机制，利用语义级相关块
  • 核心思想是将过去的上下文和知识存储在非训练的记忆库中，并利用这些存储的嵌入来检索块级key-value(K-V)对输入模型。这种方法允许模型在处理长文本时能够"回顾"之前的内容，类似于人类在阅读长文档时会不时回顾前面的章节
  • 大概流程
    • 输入分块：将超过模型最大处理长度的输入文本分为前缀和主体。
    • 记忆过程：对前缀部分进行编码和存储，每个固定大小的块都会被编码并存储其K-V对和检索表示。
    • 检索过程：在处理主体部分时，对每个当前上下文块进行编码，并与存储的历史信息计算相似度，检索最相关的历史块。
    • 注意力重构：在模型上层引入检索因果注意力机制，融合局部上下文和检索到的块级历史信息。

隐式搜索：Unlimiformer

Unlimiformer: Long-Range Transformers with Unlimited Length Input https://github.com/abertsch72/unlimiformer 适用于Encoder-Decoder模型，长文本摘要等场景
在这里插入图片描述

  • 采用预训练的Encoder-Decoder架构的Transformer模型处理无限长度的输入序列。通过将注意力计算外包给一个k-最近邻（kNN）索引来实现，该索引可以存储在GPU或CPU内存中，并以亚线性时间查询，从而允许索引几乎无限的输入序列。在每个解码器层中，每个注意力头检索其顶部k个键，而不是关注每个键。Unlimiformer在几个长文档和书籍摘要基准测试中得到了评估，展示了它能够处理来自BookSum数据集的长达500k个token的输入，而无需在测试时截断输入。此外，Unlimiformer通过扩展它们到无限输入，无需额外的学习权重，无需修改代码，就提高了像BART和Longformer这样的预训练模型的性能
    关键组成部分包括：
    • 编码（Encoding）：超长输入序列被编码并存储在数据存储器中，使用类似Faiss的库进行索引。检索增强的交叉注意力（Retrieval-augmented Cross-Attention）：在标准的交叉注意力之上进行改进，允许解码器不仅仅关注编码器输入序列的前k个token，而是检索整个输入序列中的top-k个hidden states，然后对这些top-k的hidden states进行attention计算。
    • 注意力重构（Attention Reformulation）：通过重新构思传统的注意力计算方法，允许每个注意力头在每个解码步骤中从完整的输入序列中选择一个独立的上下文窗口

AutoCompress

git 代码：https://github.com/princeton-nlp/AutoCompressors?tab=readme-ov-file
论文：https://arxiv.org/pdf/2305.14788
在这里插入图片描述

  • 长文本上下文压缩成紧凑的摘要向量，这些向量随后可以作为软提示（soft prompts）供模型使用。通过这种方式，模型能够处理超出其原始上下文窗口的长文本。
  • 无监督训练目标：通过无监督的方式训练摘要向量，即将长文档分割成多个部分，并将之前部分的摘要向量用于语言建模。
  • 摘要向量：AutoCompressor在基础模型的输入词汇表中增加了特殊的摘要标记，并初始化了新的输入Embedding。当这些摘要标记附加到输入序列上时，模型被引导输出前文的特别摘要向量。
  • 摘要累积：通过串联所有先前段的摘要向量来形成整个文档的摘要。
    随机分割：长文档被分割成多个部分，然后顺序处理，每部分处理时都会将之前部分的摘要向量用于语言建模。

附录

https://kexue.fm/archives/9617

在这里插入图片描述

https://kexue.fm/archives/9632

在这里插入图片描述

taoqick
关注
利用大模型总结推理能力处理推荐长文档
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
01-30 830
1. 背景介绍 在信息爆炸的数字时代，我们每天都要处理大量的长文档，从新闻文章到学术论文，再到法律文书，这些文档包含了丰富的信息，但也给我们的阅读和理解带来了挑战。如何高效地总结和推理长文档，提取其中的关键信息，是一个亟待解决的问题。大模型，特别是 transformer 系列的模型，在理解和生成人类语言方面取得了巨大的成功，为我们解决这个问题提供了
LLM大模型在文本摘要与提取中的实现：信息处理与压缩
AI天才研究院
12-21 1379
在当今的信息爆炸时代，人们面临着大量文本信息的洪流。这些信息来自各种来源，如新闻、博客、论文、报告等。为了有效地处理和利用这些信息，我们需要一种方法来将长篇文本压缩为更短的摘要，同时保留其主要内容。这就是文本摘要和提取的重要性所在。文本摘要是将长篇文本转换为更短的摘要，捕捉文本的主要信息。文本提取则是从长篇文本中选出关键信息，以便用户快速了解文本的内容。这两个任务在实际应用中具有很高的价值，例如新闻摘要、文献综述、企业报告等。语言理解能力：LLM模型可以理解文本的内容，从而选择与主题相关的信息。
LONGAGENT：优化大模型处理长文本
人工智能讲师分享前沿技术
06-29 2203
现有的大模型（LLMs），尽管在语言理解和复杂推理任务上取得了显著进展，但在处理这些超长文本时却常常力不从心。它们在面对超过10万令牌的文本输入时，常常会出现性能严重下降的问题，这被称为“中间丢失”现象。这一问题不仅限制了LLMs在实际应用中的有效性，也对计算资源提出了巨大的挑战。本文将介绍一种创新的解决方案——LONGAGENT，这是由复旦大学的研究团队提出的一种基于多代理协作的方法，它成功地将语言模型的上下文窗口扩展到128k令牌，显著提升了长文本处理的能力。
如何提高大模型在超长上下文的表现？Claude实验表明加一句prompt立即提升效果~
DataLearnerAI
12-08 1174
如果模型在训练过程中接收到避免错误和不准确声明的强烈信号，它可能会在实际应用中表现出更多的谨慎。Claude 2.1版本的模型上下文长度最高拓展到200K，也是目前商用领域上下文长度支持最长的模型之一。但是，在模型发布不久之后，有人测试发现。而今天，Anthropic官方发布了一个博客解释，这个不是因为Claude模型能力不行，而是测试的方式不太好。可以看到，当文档长度超过20K之后，表现就非常差，与Anthropic官方的说法差别很大。”即可大幅提升模型回答效果，改进模型不愿意回答不相关内容的水平。
长文本数据在大模型中应用的解决办法
weixin_46103454的博客
07-11 1463
依据语言建模的局部性原理，对模型中近距离敏感的位置索引进行保留，同时截断或插值处理远距离的位置索引，确保其不超出预设的最大旋转角度。对于一个原始上下文窗口为𝑇max的模型，目标是将其上下文窗口扩展到𝑇′ max（其中𝑇′ max > 𝑇max）.在RoPE的每个子空间𝑖 上，对于相对位置𝑡，旋转角度 𝑓(𝑡,𝑖) = 𝑡 · 𝜃𝑖 的修改可以分解为对距离𝑡 的修改𝑔(𝑡) 和对基𝜃𝑖 的修改ℎ(𝑖)。然而在处理较短的文本时，由于位置索引的缩放，可能会对模型的性能产生一定的负面影响。
效率跃升！分片处理技术实现大模型长文本处理速度倍增
mobingyu的博客
04-13 301
申请人：百度在线网络技术(北京)有限公司 | 申请号：CN202411640368.4 | 申请日：2024.11.15 | 发明创造名称：基于大模型的文本处理方法、装置、电子设备和存储介质。通过分片处理与动态资源优化，该技术为长文本处理任务提供了高性价比的解决方案，开发者可通过开源代码快速验证，企业用户可基于商业SDK构建定制化流水线。支持Apache 2.0/MIT开源协议，允许企业免费集成至私有化部署系统，商业应用需遵循API调用次数授权规则。，解决大模型处理超长文本时的响应延迟与超时报错问题。
掌握技巧：如何引导大型模型生成超过10,000字的详尽文章？
z551646的博客
08-23 2927
随着大语言模型的发展，许多模型已经能够处理超过100k+ tokens的输入上下文。然而，这些模型在生成长文本时，普遍存在输出长度受限的问题。在实际应用中，为了克服这个问题，人们普遍采用「分而治之」的方法，让模型一段一段地写。这种方法在一定程度上似乎能够解决长文本输出的问题，但往往会导致 1）消耗 tokens 量成倍甚至指数增加；2）前后内容不连贯。如何才能让模型拥有更强的长文本输出能力呢？我们发现，模型输出长度受限的主要原因在于，监督微调（SFT）数据集缺乏足够长的输出样例。
如何使用AI模型进行中文文本处理
qq_29929123的博客
07-08 516
大模型（Large Language Model，LLM）是一种基于深度学习的自然语言处理模型，能够理解和生成自然语言文本。它们通常由大量参数组成，并且经过大量文本数据的训练，能够执行各种复杂的语言任务。
长上下文窗口：LLMs的挑战与突破
XianxinMao的博客
02-06 1020
大型语言模型（LLMs）在处理长文本时面临的主要挑战是上下文窗口的限制，这导致模型在理解长文本时可能出现上下文丢失、知识整合不完整、资源利用效率低下等问题。这些问题直接影响模型的输出连贯性、准确性和用户体验。为应对这些挑战，研究人员提出了多种技术手段，如分层分段、元数据注入、注意力掩码、总结与压缩等，以帮助模型更好地处理长文本。这些方法通过优化数据设计，提升模型对全局上下文的理解，同时提高计算资源的利用效率。然而，这些技术也带来了复杂性、数据质量和计算开销等挑战，因此在实际应用中需要根据具体任务需求进行权衡
超详细大模型面经指南（附答案）：助你轻松应对面试，2025年上岸大模型，大模型零基础入门到精通！
2401_84204207的博客
02-07 842
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。自注意力机制（Self-Attention）：自注意力机制是Transformer架构的核心组件之一。
LLM - 长文本总结处理方案
BITDDD小栈
04-25 6852
LLM 长文总结常用方法。
LLM大模型测试训练语料数据
03-15
在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也...
大模型在线长文本处理与角色强化学习优化LLM部署
10-05
本文介绍了一种名为'Online Long-Context Processing(OLP)'的新范式以及一个自动分配不同大模型于最优位置的角色强化学习（Role-RL）框架。研究针对无限长度媒体流转录本的数据实时抽取并分类难题进行了创新解决方法...
LLM大模型能力与企业业务系统集成技术方案
AI天才研究院
06-28 4294
1.1 LLM大模型能力背景及相关概念定义在人工智能领域，LLM（Language Model）是一种通过大量的文本数据进行学习，从而能够理解和生成人类语言的模型。它们的训练数据涵盖了广泛的主题，从新闻报道到小说、诗歌、剧本等。LLM能够对输入的文本进行分析和生成回复，可以在多个领域为用户提供智能化的服务。1.1.1 知识图谱知识图谱是一种描述实体及其关系的结构化数据。它将大量的信息以图形的方式组织起来，用于关联和检索知识。知识图谱有助于LLM理解和生成与之相关的信息。1.1.2 深度学习。
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
丨汀、的博客
04-29 1399
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
深度学习新趋势：利用MLP取代卷积层——S2-MLPv2模型解析
qq_18943707的博客
04-27 435
从学术研究到工业应用，深度学习的演进从未停歇。S2-MLPv2的成功展示了一条新的可能性道路——用更灵活高效的模型结构来应对复杂的现实任务。面对未来，让我们保持敏锐的洞察和探索的热情，在这条创新驱动的路上不断前行。
在深度学习中，什么是线性插值（linear interpolation）？
最新发布
weixin_44649780的博客
04-30 218
线性插值是寻找两个点之间中间值的最基础方法之一，广泛应用于：数值计算计算机图形学机器学习和深度学习它的标准公式是：x0,x1∈Rn：两个向量或标量t∈[0,1]：插值系数（0 表示完全靠近 x0，1 表示完全靠近 x1​）它对应的是两个点之间的一条线段轨迹。线性插值就是“在两个已知点之间，按一定比例找到中间点”的方法，无论是图像、特征、模型参数，它都可以用来“平滑地过渡”。📢 想要了解更多内容，可在VX小程序搜索🔍AI Pulse,获取更多最新内容。
远程深度学习新环境配置流程
weixin_45668967的博客
04-30 136
下载并安装适合你系统的 Miniconda 版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值