LLM_Web_Search 项目安装和配置指南

LLM_Web_Search 项目安装和配置指南

LLM_Web_search An extension for oobabooga/text-generation-webui that enables the LLM to search the web using DuckDuckGo 项目地址: https://gitcode.com/gh_mirrors/ll/LLM_Web_search

1. 项目基础介绍和主要编程语言

项目基础介绍

LLM_Web_Search 是一个为 oobabooga/text-generation-webui 开发的扩展，旨在赋予本地语言模型（LLM）通过 DuckDuckGo 进行网页搜索的能力。该项目通过输出特定命令，使模型能够搜索网络并返回相关结果。

主要编程语言

该项目主要使用 Python 进行开发，同时也包含少量的 JavaScript。

2. 项目使用的关键技术和框架

关键技术和框架

• DuckDuckGo API: 用于进行网页搜索。
• LangChain: 用于处理和压缩搜索结果。
• Okapi BM25 和 SPLADE: 用于关键词检索和文档检索。
• BeautifulSoup: 用于网页内容的解析。
• faiss-cpu: 用于高效的相似性搜索。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

1. 安装 Python: 确保你的系统上安装了 Python 3.7 或更高版本。
2. 安装 Conda: 推荐使用 Conda 来管理环境，确保你已经安装了 Conda。
3. 克隆项目: 从 GitHub 克隆 LLM_Web_Search 项目到本地。

详细安装步骤

步骤 1: 克隆项目

首先，从 GitHub 克隆项目到本地：

git clone https://github.com/mamei16/LLM_Web_search.git
cd LLM_Web_search

步骤 2: 安装依赖

你可以选择以下两种方式之一来安装依赖：

简单方式:

cd text-generation-webui
./update_wizard.sh

在弹出的选项中选择“Install/update extensions requirements”。

安全方式:

conda env update -p <path_to_your_environment> --file environment.yml

将 <path_to_your_environment> 替换为你的环境路径。

步骤 3: 启动 Web UI

安装完成后，启动 Web UI：

python server.py --extension LLM_Web_search

步骤 4: 配置扩展

1. 打开 Web UI，进入“Session”标签。
2. 使用“Install or update an extension”下载并安装扩展。
3. 在“LLM Web Search”标签中，配置你的搜索命令和参数。

配置示例

在系统提示中使用以下格式来触发搜索：

Search_web: "<|query|>"

确保你的搜索命令正则表达式与系统提示中的命令格式匹配。

通过以上步骤，你已经成功安装并配置了 LLM_Web_Search 扩展，现在你的本地语言模型可以进行网页搜索了！

LLM_Web_search An extension for oobabooga/text-generation-webui that enables the LLM to search the web using DuckDuckGo 项目地址: https://gitcode.com/gh_mirrors/ll/LLM_Web_search