Qwen2.5更新百万超长上下文，推理速度4.3倍加速，网友：RAG要过时了

前言

国产大模型，最近有点卷。

这不，刚在写代码这事儿上刷新SOTA，Qwen2.5系列又双叒突然更新了——

一口气读三本《三体》不费事，并且45秒左右就能完整总结出这69万token的主要内容。

还真不是糊弄事儿，“大海捞针”实验显示，这个全新的Qwen2.5-Turbo在100万token上下文中有全绿的表现。

也就是说，这100万上下文里，有细节Qwen2.5-Turbo是真能100%捕捉到。

没错，Qwen2.5系列新成员Qwen2.5-Turbo，这回主打的就是支持超长上下文，并且把性价比卷出了花儿：

• 上下文长度从128k扩展到1M，相当于100万个英文单词或150万个汉字，也就是10部长篇小说、150小时语音记录、30000行代码的量。

• 更快的推理速度：基于稀疏注意力机制，处理百万上下文时，首字返回时间从4.9分钟降低到了68秒，实现了4.3倍加速。

• 关键是还便宜：0.3元/1M tokens。这意味着，在相同成本下，Qwen2.5-Turbo可以处理的token数量是GPT-4o-mini的3.6倍。

看到这波更新，不少网友直接爆出了：

有人直言：这么长的上下文这么快的速度下，RAG已经过时了。

还有人开启大赞特赞模式：现在在开源领域，Qwen比Llama还值得期待了。

01

上下文能力扩展不影响性能

除了一口气啃下3本长篇小说，Qwen官方还展示了Qwen2.5-Turbo超长上下文的更多实用功能。

比如快速掌握一整个代码库的信息。

如Demo所演示，上传包含Qwen-Agent仓库中所有代码文件的文本文件（13.3万token），只需几秒钟，大模型就能读完全部代码并准确输出各种细节。

用户：这个存储库中有哪些Agent子类？提供它们的文件路径。

Qwen2.5-Turbo：

一口气读7篇论文，完成论文分类、论文摘要，也不在话下：

我们也实际测试了一下。可以看到，在没有给任何提示的情况下，Qwen2.5-Turbo能准确掌握不同论文的细节信息，并完成对比分析。

除了大海捞针实验之外，Qwen团队还在更复杂的长文本任务上测试了Qwen2.5-Turbo的能力。

包括：

• RULER：基于大海捞针的扩展基准，任务包括在无关上下文中查找多“针”或回答多个问题，或找到上下文中出现最多或最少的词。数据的上下文长度最长为128K。

• LV-Eval：要求同时理解众多证据片段的基准测试。Qwen团队对LV-Eval原始版本中的评估指标进行了调整，避免因为过于严苛的匹配规则所导致的假阴性结果。数据的上下文长度最长为128K。

• Longbench-Chat：一个评价长文本任务中人类偏好对齐的数据集。数据的上下文长度最长为100K。

结果显示，在RULER基准测试中，Qwen2.5-Turbo取得了93.1分，超过了GPT-4o-mini和GPT-4。

在LV-Eval、LongBench-Chat等更接近真实情况的长文本任务中，Qwen2.5-Turbo在多数维度上超越了GPT-4o-mini，并且能够进一步扩展到超过128 tokens上下文的问题上。

值得一提的是，现有的上下文长度扩展方案经常会导致模型在处理短文本时出现比较明显的性能下降。

Qwen团队也在短文本任务上对Qwen2.5-Turbo进行了测试。

结果显示，Qwen2.5-Turbo在大部分任务上显著超越了其他上下文长度为1M tokens的开源模型。

和GPT-4o-mini以及Qwen2.5-14B-Instruct相比，Qwen2.5-Turbo在短文本任务上的能力并不逊色，但同时能hold住8倍于前两个模型的上下文。

此外，在推理速度方面，利用稀疏注意力机制，Qwen2.5-Turbo将注意力部分的计算量压缩到了原来的2/25，在不同硬件配置下实现了3.2-4.3倍的加速比。

现在，在HuggingFace和魔搭社区，Qwen2.5-Turbo均提供了可以在线体验的Demo。

API服务也已上线阿里云大模型服务平台，跟OpenAI API是兼容的。

至于模型权重什么时候开源？

阿里通义开源负责人林俊旸的说法是：目前还没有开源计划，但正在努力中。

反正HuggingFace联合创始人Thomas Wolf是帮咱催上了（手动狗头）。

Demo传送门：
https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo
https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】