长上下文模型（扩展位置编码、调整上下文窗口、长文本数据、）

最新推荐文章于 2025-05-05 21:46:32 发布
最新推荐文章于 2025-05-05 21:46:32 发布
阅读量391 收藏
点赞数 5
分类专栏： LLM 文章标签： 语言模型 文心一言 gpt AIGC llama prompt embedding
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43961909/article/details/140265828
版权

文章目录

    在实际应用中，大语言模型对于长文本数据的处理需求日益凸显，尤其在长文档分析、多轮对话、故事创作等场景下。在这些情况下，模型需要处理的文本的长度常常超出预定义上下文窗口大小。例如，LLaMA-2 的上下文窗口限制为 4,096个词元。为了支持长文本处理，多家机构均已推出面向具有超长上下文窗口的大语言模型或 API。例如，OpenAI 发布了支持 128K 上下文窗口的 GPT-4 Turbo，而Anthropic 则推出了具有 200K 上下文窗口的 Claude-2.1。给定一个预训练后的大语言模型，如何有效拓展其上下文窗口以应对更长的文本数据成为当前学术界的研究焦点。目前，增强大语言模型长文本建模能力的研究主要集中在两个方向：一是扩展位置编码，二是调整上下文窗口。

扩展位置编码

    在基于 Transformer 架构的大语言模型中，模型的上下文建模能力通常受到训练集中文本数据长度分布的限制。一旦超出这个分布范围，模型的位置编码往往无法得到充分训练，从而导致模型处理长文本的性能下降。因此，当大语言模型面临超出其最大训练长度的任务时，需要对于位置编码进行扩展，以适应更长的绝对或相对位置。

    实际上，某些特定的位置编码在超出原始上下文窗口的文本上，也能够表现出较好的建模能力，这种能力通常被称为外推（Extrapolation）能力

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大规模语言模型从理论到实践 模型上下文窗口扩展
AI天才研究院
05-26 460
1. 背景介绍 自然语言处理（NLP）是人工智能领域的一个重要子领域，它研究如何让计算机理解、生成和处理人类语言。近年来，深度学习技术在NLP领域取得了显著的进展，特别是大规模预训练语言模型（如BERT、RoBERTa、GPT等）在各类任务上的表现超越了传统方法。 语言模型是一种概率模型，它描述了在给定上下文的情况下，文本序列的生成概率
【人工智能】DeepSeek 的上下文窗口扩展：解锁长文本处理的理论与实践
一个被知识诅咒的人
04-11 1126
随着大语言模型（LLM）的快速发展，长文本处理能力成为衡量模型性能的重要指标之一。DeepSeek 作为一款高性能开源模型，通过创新的上下文窗口扩展技术，显著提升了其在长序列任务中的表现。本文深入探讨了 DeepSeek 上下文窗口扩展的理论基础与实践方法，分析其核心技术（如动态窗口调整、旋转位置嵌入和分块全局上下文融合），并结合数学推导和代码实现，展示了如何在实际应用中优化长文本处理能力。通过大量示例代码和详细注释，本文不仅揭示了 DeepSeek 在长对话、文档生成等场景中的优势，还提供了开发者可直接复
大模型处理长上下文方法一览
python122_的博客
05-16 2765
2023年中开始，各大LLM厂商开始关注到长上下文的问题。2023年5月，Claude把长度支持到100k tokens；6、7月的时候，ChatGPT3.5也已经支持16k，而ChatGLM2-B最大长度已经可以到32k。（插一句，ChatGLM系列做得一直很不错，从基础模型、长窗口、工具调用、Agent都一直保持在比较前沿的水平，个人最近用ChatGLM3、ChatGLM4体验还是很不错的）差不多同时间还有LM-SYS的LongChat，MosaicLM的MPT也支持16k以及更长的上下文。
超长上下文处理：基于Transformer上下文处理常见方法梳理
wwlsm_zql的博客
07-10 2603
注意力集中的Transformer（Focused Transformer，FoT）是Transformer模型的一个简单的即插即用扩展，既可以用于训练新模型，也可以用于微调现有的具有更长上下文的大模型。TRIME提出了一种训练方法，旨在训练具有记忆增强功能的语言模型，它使用batch内的负样本来提高表征的质量。我们的工作遵循了Memorizing Transformer的方法，旨在训练一个能够处理更长注意力上下文长度的模型（例如，通过缓解分心问题），从而具有更好的长上下文处理能力。
大模型处理长上下文方法一览_大模型处理上下文，零基础入门到精通，收藏这一篇就够了
heaven522的博客
09-14 709
2023年中开始，各大LLM厂商开始关注到长上下文的问题。2023年5月，Claude把长度支持到100k tokens；6、7月的时候，ChatGPT3.5也已经支持16k，而ChatGLM2-B最大长度已经可以到32k。（插一句，ChatGLM系列做得一直很不错，从基础模型、长窗口、工具调用、Agent都一直保持在比较前沿的水平，个人最近用ChatGLM3、ChatGLM4体验还是很不错的）差不多同时间还有LM-SYS的LongChat，MosaicLM的MPT也支持16k以及更长的上下文。
58行代码把Llama 3扩展到100万上下文，任何微调版都适用
zhishi0000的博客
05-29 683
堂堂开源之王Llama 3，居然只有……，让到嘴边的一句“真香”又咽回去了。在32k起步，100k寻常的今天，这是故意要给开源社区留做贡献的空间吗？（一百万）背后是一个LoRA，从扩展好上下文的Llama 3 70B Instruct微调版本中提取出来，。接下来使用Mergekit，就可以与其他同架构模型一起运行或直接合并到模型中。所使用的1048k上下文微调版本，刚刚在流行的大海捞针测试中达到全绿（100%准确率）的成绩。不得不说，开源的进步速度是指数级的。
如何扩展大模型的上下文长度
SmartCodeTech的博客
03-15 5065
本文将基于比较火的 Llama 2 大模型的结构介绍上下文长度的方法与挑战，然后探讨一些业界流行的上下文长度扩展的技术，最后给大家推荐下 KubeAI 大模型训练推理平台可以上手实验。
【深度好文】你必须要知道-大模型的上下文窗口(Context Window )
longxiaotian718的博客
09-23 2295
1）注意力层（attention layer）计算的二次方时间（Quadratic time）和空间复杂度，即输入词元数量n。2）嵌入大小d的线性层的二次方时间复杂度。3）原始架构中使用的位置正弦嵌入（Positional Sinusoidal Embedding ）。带着这三个问题我们来阅读下面的内容会更能理解其中的原理。在Transformer架构中，可学习（learnable）矩阵权重的形状与输入词元n的数量无关。
揭开大模型上下文窗口的神秘面纱，为什么它如此重要？
强化学习曾小健
07-18 1976
大模型的上下文窗口是指大模型在处理和生成文本时，模型可以处理的token数。上下文窗口的大小直接影响模型在处理信息（用户提交的请求）时可以利用的前后文信息（在处理和生成文本时，模型能够看到和记住的文本片段的长度），或者生成回复时生成的token数量。在大模型中，一个token可以是一个汉字、一个字母、一个词或一个标点符号，因此上下文窗口表示模型在一次输入中可以处理的最大字符数或词数。更精确地说，这意味着：输入文本：你提供给模型的所有文字内容（问题、指令等）。输出文本：模型生成的回复或结果。
超越“迷失中间”：如何让长上下文问题回答更智能——探索LongRAG的创新
步子哥的博客
10-26 720
更重要的是，LongRAG系统可以在不依赖昂贵的API（如GPT-3.5）的情况下，通过本地部署的小型LLMs实现相似的性能表现，显著降低了使用成本。通过双视角的设计，它有效地克服了传统RAG系统在处理长文档时的局限性，让模型能够在复杂的长文档中找到核心信息。例如，在回答一个关于物理学家爱因斯坦的问题时，如果他的重要成就分散在多个段落中，信息提取器会将这些段落重新组合，确保模型能够捕捉到所有相关的全球背景信息。文档块的切割策略给RAG系统带来了挑战，尤其是当一个文档的关键信息分散在不同的块中时。
解决长文本检索中的上下文长度限制问题
gs80140的专栏
03-30 1395
长文本检索中的上下文长度限制问题是当前信息检索领域的一个重要挑战。通过分块与滑动窗口、层次化检索、长上下文模型、动态上下文聚合等多种策略，可以有效缓解这一问题，提升检索系统在处理长文本时的表现。随着技术的不断发展，我们相信未来在长文本处理和检索方面将会有更多突破，带来更加智能和高效的信息检索体验。
还在“卷”长度？长文本模型真的基于上下文进行回复吗？
Z4400840的博客
10-06 1054
近年来，随着长文本模型（Long-context Model, LCM）技术的突飞猛进，处理长上下文的能力已成为各大语言模型（Large Language Model, LLM）的核心竞争力，也是各大技术厂商争夺的焦点。截至2023年12月，鲜有模型能够超越8K上下文的限制，然而到了2024年9月，Gemini Pro模型已经能够处理长达2M的上下文。在短短9个月的时间里，长文本模型的上下文窗口实现了250倍的惊人增长。
Transformer-XL语言模型：超长上下文依赖
u013602059的专栏
07-11 1672
论文链接：https://arxiv.org/pdf/1901.02860.pdf 代码链接：https://github.com/kimiyoung/transformer-xl 参考来源：https://mp.weixin.qq.com/s/C1hXU3HMSXSY5Ru9r1CZAA 导读 今天学习的是谷歌大脑的同学和 CMU 的同学于 2019 年联合出品的论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Cont.
ChatGPT、deepseek、豆包、Kimi、通义千问、腾讯元宝、文心一言、智谱清言代码能力对比
被放养的研究生的博客
04-26 3376
ChatGPT、deepseek、豆包、Kimi、通义千问、腾讯元宝、文心一言、智谱清言代码能力对比
5个情感丰富GPT-4o图像提示词（不是吉卜力风格）
独立开发，substack顶级编辑
05-04 882
创建一个9:16垂直画布，展示九个3D可爱迷你风格贴纸，描绘一个中等肤色、深色卷发、留胡子、戴墨镜的男子，穿着休闲和半休闲服装，展示不同姿势和情绪，如挥手、思考、大笑、竖起大拇指和睡觉。确保所有九个贴纸都有可见文字，保持角色风格一致，如可爱的超大头部、富有表现力的姿势、简单细节的服装，并确保光线柔和而活泼，呈现生动、精致的外观。在这一趋势中最引人入胜的方向之一是"吉卜力风格之后"的图像的兴起——一种受到吉卜力工作室讲故事风格和美学影响的视觉语言，却应用于个人品牌、旅行、创业文化等现代概念。
GPT-4o 图像生成与八个示例指南
m0_46568584的博客
05-02 906
简单来说，GPT-4o图像生成是集成在ChatGPT内部的一项功能。用户可以直接在对话中，通过文本描述（Prompt）来创建、编辑和调整图像。这与之前的图像生成工具相比，体验更流畅、交互性更强。你可以让它根据你的具体要求生成图片，甚至上传一张图片让它进行修改或分析。它的目标是不仅生成好看的图片，更能生成在实际工作和生活中有用的图片。
AI日报 · 2025年04月30日｜OpenAI 回滚 GPT-4o 更新以解决“谄媚”问题
He_r_o的博客
04-30 485
过去 24 小时 内全球最值得关注的 AI 事件
深度解析：从 GPT-4o“谄媚”到 Deepseek“物理腔”，透视大模型行为模式的底层逻辑与挑战
最新发布
aiAI
05-05 516
从GPT-4o的“彩虹屁风波”到日常使用中可能遇到的各种AI“小癖好”，这些看似琐碎的现象，实则是我们观察和理解当前AI技术发展阶段、挑战与机遇的绝佳窗口。它们提醒我们，人工智能的征途依然漫长，充满了未知与探索。作为技术的见证者和参与者，保持好奇，理性思考，积极适应，或许是我们面对这个智能时代最好的姿态。那么，你在使用AI时遇到过哪些有趣的“小癖好”？你对AI的未来发展又有哪些思考？欢迎在评论区留言分享！文中关于DeepSeek等模型的行为描述主要基于用户观察和讨论，并非官方定论，仅作探讨示例。
AI Agent新范式：FastGPT+MCP协议实现工具增强型智能体构建
虽非技冠群英首，愿与同道共长歌； 大鹏一日同风起，扶摇直上九万里；
04-30 1541
核心价值​​ ​​MCP协议​​：统一AI模型与外部系统交互标准，支持OpenAI等主流厂商 ​​FastGPT升级​​：v4.9.6+版本支持MCP服务提供与工具调用，实现外部能力扩展 ​​生态整合​​：通过mcp-proxy聚合开源MCP组件，构建AI应用生态闭环 ​​协议兼容性​​：支持SSE实时通信与多协议（stdio/sse/http） ​​灵活扩展​​：通过配置文件动态接入新服务（如添加GitHub API） ​​错误隔离​​：工具级异常处理与工作流容错设计
大模型扩充上下文长度
02-22
### 增加大型语言模型的上下文窗口长度 为了提升大型语言模型处理更长文本序列的能力，研究者们探索了多种方法来扩展上下文窗口长度。一种常见策略是采用分块机制，在这种机制下，输入被分割成多个较小的部分并分别编码[^1]。 另一种有效的方法涉及优化注意力机制的设计。传统自注意结构在处理极长序列时面临计算复杂度激增的问题。为此，稀疏注意力模式以及局部-全局混合型架构成为热门解决方案之一。这些改进使得模型能够在保持性能的同时支持更广泛的上下文范围。 此外，还有基于记忆增强技术的方式，通过引入外部存储组件或内部状态持久化方案，使模型具备跨越长时间跨度的信息保留能力。这种方法允许LLM记住先前见过的内容片段，并在其后的推理过程中加以利用，从而间接实现了更大规模的历史依赖建模。 ```python class ExtendedContextModel(nn.Module): def __init__(self, chunk_size=512, overlap=64): super().__init__() self.chunk_size = chunk_size self.overlap = overlap def forward(self, input_ids): chunks = [] for i in range(0, len(input_ids), self.chunk_size - self.overlap): chunk = input_ids[i:i+self.chunk_size] chunks.append(chunk) outputs = [] for chunk in chunks: output = model(chunk) # Assuming 'model' is defined elsewhere and can process individual chunks. outputs.append(output) final_output = combine_outputs(outputs) # Function to merge the results from each chunk into a single result. return final_output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三月七꧁ ꧂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值