【百万上下文RAG，Agent还能这么玩】

文末有福利！

在AI技术飞速发展的今天，我们见证了许多令人惊叹的突破。最近，Qwen2模型的开源引起了广泛的关注，它不仅展示了超越闭源模型的能力，还带来了一个全新的框架——Qwen-Agent。

Qwen-Agent的设计思路虽然与LangChain相似，但其发布几个的Agent示例却很有意思。今天本文将深入探讨如何使用Qwen-Agent将上下文记忆扩展到百万量级，让Agent的智能得到更广泛的应用。

暴力关键字检索优于向量方案

在处理大规模文本数据时，一个关键的挑战是如何快速准确地定位到最相关的信息块。Qwen-Agent通过一种看似“暴力”的方法——,基于LLM判断相关性 AND 基于关键字检索，解决了这一难题。这种方法虽然简单，但在实际操作中却显示出了意想不到的效果。

关键字检索的基本原理

关键字检索是一种直接且高效的方法，尤其是在面对大规模文本数据时。通过预先定义的关键字，我们可以快速定位到包含这些关键字的文本块。这种方法的优势在于其速度和简单性，尤其是在处理大规模数据时。

实现关键字检索的步骤

1. 预处理文本数据：将大规模文本数据分块。

2. 基于LLM判断相关性：并行处理每个分块，让聊天模型评估其与用户查询的相关性， 如果相关则输出相关句子用于后续检索。

3. 分析用户指令，提取关键字：通过LLM对用户指令进行两个方面的预处理。1.区分指令信息与非指令信息。2.从查询的信息部分推导出多语言关键词

4. 最终检索：运用BM25这一传统的基于关键词的检索方法，找出与提取关键词最相关的块并生成最终答案，这一步骤的实现方式与通常的RAG相同。。

示例代码

from qwen_agent.agents import Assistant   from qwen_agent.gui import WebUI      def test():       bot = Assistant(llm={'model': 'qwen-plus'})       messages = [{'role': 'user', 'content': [{'text': '介绍图一'}, {'file': 'https://arxiv.org/pdf/1706.03762.pdf'}]}]       for rsp in bot.run(messages):           print(rsp)         def app_gui():       # Define the agent       bot = Assistant(llm={'model': 'qwen-plus'},                       name='Assistant',                       description='使用RAG检索并回答，支持文件类型：PDF/Word/PPT/TXT/HTML。')       chatbot_config = {           'prompt.suggestions': [               {                   'text': '介绍图一'               },               {                   'text': '第二章第一句话是什么？'               },           ]       }       WebUI(bot, chatbot_config=chatbot_config).run()      if __name__ == '__main__':       # test()       app_gui()   

总结

通过本文的探讨，我们了解到Qwen-Agent如何通过智能体扩展模型的上下文记忆，以及如何利用这些智能体来提升模型的性能。这不仅为AI技术的发展提供了新的思路，也为我们在处理大规模文本数据时提供了有效的工具。希望这篇文章能为大家在实际应用中提供一些启发和帮助。

---

以上就是本文的全部内容，希望能够帮助新手程序员更好地理解Qwen-Agent的工作原理，并激发大家对AI技术更深层次的探索和思考。如果你对本文有任何疑问或建议，欢迎在评论区留言，我们一起讨论。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~ ， 【保证100%免费】

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓