基于ChatGPT开发Agent实现互联网内容搜索

一、功能介绍

1、实现背景

前段时间，初步实现了将ChatGPT接入互联网（如何让ChatGPT接入互联网？），但只是从技术层面解决了LLM联网搜索的问题，这段时间一直在思考，如何让语言大模型在互联网搜索中发挥出更具价值的作用。

补充：有些人经常问，为什么要让大模型接入互联网？大模型所拥有的知识或者说是信息，完全取决于训练时所提供给它的数据，随着时间的推移，训练数据的内容范围远远小于互联网上充斥着的数据范围，所以很多时候大模型直接给出的答案是不符合实际情况的，或者说是它根本给不出答案

从搜索引擎的使用层面考虑，目前存在2个比较明显的痛点，

1）搜索结果里面包含超多广告信息

2）搜索结果内容质量参差不齐，需要一条一条点击进去辨别

2、需求概述

需求自然就是基于上述两处痛点，让LLM成为一个“智能助手”，在我使用搜索引擎搜索内容的时候，帮我整理筛选，只给我有用的信息

1）过滤掉广告内容

2）帮我自动过滤掉与我需要的内容相关性不高的部分

3）将搜索结果归纳总结，告诉我最直接的答案

4）返回过滤筛选后的链接信息，可以让我自主选择要不要点击链接跳转到对应网页查看

3、效果展示

示例：输入“俄乌局势”，程序调用【内容搜索工具】。返回内容应该有两个部分：

1）归纳总结信息

2）原始搜索结果（包含链接，链接简要说明）

总结信息

原始链接信息+链接简介

点击链接，跳转到对应页面

二、实现思路

1、流程设计

Agent的作用，主要在于根据用户输入信息，判断是否有合适的工具使用，使用哪些工具以及调用工具中的入口方法。

对于如何开发Agent以及Agent的具体作用不太清楚的朋友可以参见：

chatglm2-2b+sdxl1.0+langchain打造私有AIGC（四）

本篇文章主要讲解【内容搜索工具】如何实现

2、节点说明

在【内容搜索工具】中，各个节点都有各自所需的技术实现依赖及注意细节点，

1）提取搜索关键词：依赖于LLM模型，让LLM模型从用户输入文本中去自主判断提取出关键词，用于搜索引擎搜索

2）调用搜索引擎搜索内容：依赖于google custom search接口，需要到google平台注册获取对应的key和ID

3）获取搜索结果：