【大语言模型应用】复刻GPT-4实时网页搜索&浏览功能

0. 引言

GPT-4的知识库涉及领域丰富、涵盖范围广泛，但是一直有一定的实效滞后，例如最新的GPT-4知识更新截止于2023年4月。为了跨越这个限制，今年OpenAI相继为GPT-Plus的用户开放了接入网页搜索的插件，和GPT-4自主根据需求决定搜索网络信息的功能。例如，我们可以问GPT一些根据知识库无法回答的问题，例如波士顿明天的天气怎么样：

GPT执行搜索后的回答：

自此，GPT可以根据具体问题的需要来联网获取最新信息，增强模型对实时数据检索的相关性和时效性。这篇文章就是对GPT内置的这个功能的一个实现，并且比网页端 GPT 自带的网络浏览功能更加迅速。

你也可以把它视为一个对 new Bing 和 Bard 的最小化的后端实现，一种搜索搜索引擎和AI问答的高度结合。

完整的代码可以查看：GitHub: GPT-4 Enhanced with Real-Time Web Browsing。如果喜欢的话欢迎给这个仓库点一个⭐️。

1. 主要功能

• 1. 通过 Serper (Google API) 快速实时的网络搜索

• 2. 根据输入自动调整网络搜索和回答语言

• 3. 从多个网页中多线程提取主体内容，以降低embedding中token数量的花费

• 4. 通过 OpenAI Embedding 和 ChromaDB 实现相关语义的搜索

• 5. 大模型根据参考的网络信息生成回答

• 6. 支持自定义模型、AI的角色和输出格式的要求

• 7. 将大语言模型回答中带引用的句子源网站的标题、摘要和链接进行匹配

2. 总体架构

​​​​​​​

3. 运行效果

Demo for LLM Web Browsing

4. 模块介绍

4.1. 搜索引擎服务 🔍

用过GPT-4网络搜索功能的朋友应该发现了，GPT使用的搜索引擎是Bing，