大模型与搜索引擎结合：智能体、思维链和智谱AI搜索代码案例

最新推荐文章于 2025-02-24 13:35:04 发布

大靠山

最新推荐文章于 2025-02-24 13:35:04 发布

阅读量3.1k

点赞数 20

文章标签：搜索引擎人工智能服务器大数据深度学习音视频

本文链接：https://blog.csdn.net/m0_59235245/article/details/144160068

版权

随着大模型的不断发展，现在大模型在应用场景中逐渐改变了我们的使用习惯。通过RAG和搜索引擎的集成，大模型能逐步改善幻觉和时效性的问题。

本文将介绍现在行业中，如何将搜索引擎与大模型的集成方法，也将会演示如何调用智谱AI智能搜索功能。

生成式AI 与搜索引擎

随着生成式AI（如ChatGPT和Perplexity AI）的出现，搜索引擎开始生成、索引和分发由GenAI创建的内容。主要的搜索引擎如You.com、Bing和Google已经开始尝试将GenAI整合到他们的平台中。

大型语言模型（LLMs）是生成式搜索系统的核心，它们通过学习网络数据来预测下一个词。这些模型可能会产生事实上的不一致或编造内容，这种现象被称为“幻觉”。

生成式搜索引擎可能会隐藏信息的来源，这与传统搜索引擎优化相关性和效率不同，因为它们需要对信息的准确性或可验证性负责。

MindSearch（思索）

MindSearch 思·索: Mimicking Human Minds Elicits Deep AI Searcher

MindSearch（思索），模仿人类在网络信息寻求和整合中的思维，可以通过一个简单但有效的基于LLM的多代理框架实例化，包括WebPlanner和WebSearcher。

WebPlanner模拟人类多步信息寻求的心智，作为一个动态图构建过程：它将用户查询分解为图中的原子子问题节点，并基于WebSearcher的搜索结果逐步扩展图。
WebSearcher负责每个子问题，执行层次化的信息检索，并为WebPlanner收集有价值的信息。

MindSearch的多代理设计使得整个框架能够从更大规模（例如，300多个）网页中并行寻求和整合信息，仅需3分钟，相当于人类3小时的工作量。

WebPlanner：通过图构建进行规划

WebPlanner充当高级规划者，协调推理步骤和其他代理。然而，我们观察到，仅仅提示LLM规划整个数据工作流程架构并不能产生令人满意的性能。

当前的LLMs在分解复杂问题和理解它们的拓扑关系方面存在困难，导致粗粒度的搜索查询。这种方法没有充分利用LLMs作为人类和搜索引擎之间的中介，将人类意图转化为逐步搜索任务并提供准确响应的潜力。

WebSearcher：层次检索的网络浏览

WebSearcher充当复杂的RAG（检索和生成）代理，根据搜索结果总结有价值的响应。由于网络上可用的大量内容，LLMs在有限的上下文长度内处理所有相关页面是具有挑战性的。为了解决这个问题，我们采用了简单的从粗到细的选择策略。

在这里插入图片描述

LLM根据WebPlanner分配的问题生成几个类似查询，以扩大搜索内容，从而提高相关信息的召回率。这些查询然后通过各种搜索API（如Google、Bing和DuckDuckGo）执行，返回关键内容，包括网页URL、标题和摘要。搜索结果根据网页URL自动合并，LLM被提示选择最有价值的页面进行详细阅读。然后，所选网页的全部内容被添加到LLM的输入中。

MindSearch中的LLM上下文管理

MindSearch提供了一个简单的多代理解决方案，用于处理搜索引擎的复杂信息寻求和整合任务。这种范式还在不同代理之间自然地实现了长上下文管理，提高了框架的整体效率，特别是在需要模型快速阅读大量网页的情况下。

由于WebPlanner将搜索任务分配给单独的搜索代理，并且只依赖于WebSearcher的搜索结果，WebPlanner可以专注于用户问题的分解和分析，而不受过长的网页搜索结果的干扰。

同时，每个WebSearcher只需要搜索其任务子查询的内容，不受其他内容的干扰。由于明确的角色分配，MindSearch在整个过程中大大减少了上下文计算，为LLM的长上下文任务提供了高效的上下文管理解决方案。

搜索思维链

Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks

以往的工作存在IR检索的错误知识误导LLM和IR与LLM之间的交互打断LLM推理链的问题。在搜索链中提出的SearChain框架通过以下三个步骤解决了这些挑战：

LLM生成一个名为“Chain-of-Query（CoQ）”的推理链，其中每个节点由面向IR的查询-答案对组成。
IR验证CoQ中每个节点的答案，并在IR有高信心时纠正与检索信息不一致的答案，提高了可信度。
LLM可以在CoQ中指示其缺失的知识，并依赖IR提供这些知识给LLM，提高了推理和知识的准确性。

SearChain通过LLM和IR之间的多轮交互来设计。在每一轮中，LLM首先构建一个CoQ，然后IR与CoQ的每个节点进行交互，执行验证和补全。这个过程一直持续到所有查询都不需要更正或补全，或者达到最大交互轮数。SearChain通过追溯正确的推理路径来生成最终内容，并标记每一步推理的支持文档。

用户偏向：搜索引擎 or 大模型？

Large Language Models vs. Search Engines: Evaluating User Preferences Across Varied Information Retrieval Scenarios

为此研究者涉及100名美国互联网用户的样本，覆盖了从查找COVID-19指南到用通俗语言解释复杂概念的20种不同用例。研究发现，在直接、基于事实的查询中，用户更倾向于使用搜索引擎，而在需要细致理解和语言处理的任务中，LLMs更受青睐。

研究采用了定量方法，通过调查100名美国互联网用户，收集了他们在20种不同用例中的偏好数据。这些用例覆盖了健康、技术、金融和教育等多个领域，以确保分析的全面性。

搜索引擎在事实信息检索中的主导地位：用户在需要事实数据检索的场景中更倾向于使用搜索引擎。
LLMs在主观和语言相关任务中的偏好：LLMs在涉及语言学习和通俗解释的场景中更受青睐。
导航便捷性与对话深度：用户偏好搜索引擎的导航便捷性和LLMs的对话深度。
LLMs在复杂查询中的增长角色：LLMs在处理复杂查询方面正在缩小与搜索引擎的差距。
信息检索工具未来发展的影响：研究结果强调了开发结合搜索引擎和LLMs优势的工具的潜力。

智谱AI智能搜索

智谱AI专业联网搜索工具限时免费中！

专业版联网搜索在传统搜索引擎网页抓取、排序的能力基础上，增强了意图识别，支持搜索结果的流式输出。搜索工具能更有效地结合在大语言模型应用中，提高用户获取信息的效率，并一定程度上解决大语言模型所面临的幻觉问题。

https://bigmodel.cn/dev/api/search-tool/web-search-pro

传输方式	https
请求地址	https://open.bigmodel.cn/api/paas/v4/tools
调用方式	同步调用，等待模型执行完成并返回最终结果或 SSE 调用
字符编码	UTF-8
接口请求格式	JSON
响应格式	JSON 或标准 Stream Event
接口请求类型	POST
开发语言	任意可发起 HTTP 请求的开发语言

启用与禁用 web_search

网络搜索功能默认为关闭状态（False）。当启用搜索（设置为 True）时，系统会自动判断是否需要进行网络检索，并调用搜索引擎获取相关信息。检索成功后，搜索结果将作为背景信息输入给大模型进行进一步处理。每次网络搜索大约会增加1000个 tokens 的消耗。

from zhipuai import ZhipuAI  
client = ZhipuAI(api_key="填入你的key")  
  
tools = [{  
    "type": "web_search",  
    "web_search": {  
        "enable": True #默认为关闭状态（False） 禁用：False，启用：True。  
    }  
}]  
  
messages = [{  
    "role": "user",  
    "content": "中国 2024 年一季度的GDP是多少 "  
}]  
  
response = client.chat.completions.create(  
    model="glm-4",  
    messages=messages,  
    tools=tools  
)  
print(response.choices[0].message.content)

自定义搜索内容

使用 search_query 参数可以自定义搜索内容，提升搜索结果的相关性和精确度。如果不传 search_query 参数，系统将根据用户的消息自动进行网页检索。

tools = [{  
    "type": "web_search",  
    "web_search": {  
        "enable": True,  
        "search_query": "Datawhale 阿水 北航学长"  
    }  
}]  
  
messages = [{  
    "role": "user",  
    "content": "介绍一下Datawhale"  
}]  
  
response = client.chat.completions.create(  
    model="glm-4",  
    messages=messages,  
    tools=tools  
)  
print(response.choices[0].message.content)

返回搜索来源

启用 search_result 参数允许用户获取详细的网页搜索来源信息，包括来源网站的图标、标题、链接、来源名称以及引用的文本内容。

tools = [{  
    "type": "web_search",  
    "web_search": {  
        "enable": True,  
        "search_result": True       # 禁用False，启用：True，默认为禁用  
    }  
}]  
  
messages = [{  
    "role": "user",  
    "content": "最新的AI发展趋势"  
}]  
  
response = client.chat.completions.create(  
    model="glm-4",  
    messages=messages,  
    tools=tools  
)  
print(response.choices[0].message.content)

实现效果如下：

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述