使用Kinetica将自然语言转化为SQL：简化数据检索的利器_基于开源模型微调,实现自然语言转sql查询。-CSDN博客

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/144125528

引言

在数据驱动的世界中，数据检索的高效性和便捷性始终是关键。特别是对于非技术人员来说，直接通过自然语言查询数据库无疑是一大福音。本文将介绍如何使用Kinetica的语言模型（LLM）将自然语言转换为SQL，以简化数据检索过程。

主要内容

1. Kinetica LLM工作流程概述

Kinetica LLM工作流程允许在数据库中创建一个LLM上下文，该上下文包含用于推理的信息，包括表、注释、规则和样本。通过调用load_messages_from_context()方法，可以从数据库中检索上下文信息，用于创建聊天提示。

2. 支持的两种LLM

Kinetica SQL-GPT：基于OpenAI的ChatGPT API。
Kinetica SqlAssist：专为与Kinetica数据库集成而设计，能够在客户的安全环境中运行。

本文将重点使用SqlAssist。

3. 环境准备

首先，您需要一个Kinetica数据库实例。如果您尚未拥有，可以申请一个免费的开发实例。然后安装以下必要的软件包：

# Install Langchain community and core packages
%pip install --upgrade --quiet langchain-core langchain-community

# Install Kineitca DB connection package
%pip install --upgrade --quiet 'gpudb>=7.2.0.8' typeguard pandas tqdm

# Install packages needed for this tutorial
%pip install --upgrade --quiet faker ipykernel

4. 数据库连接设置

在项目的.env文件中设置以下环境变量：

KINETICA_URL: 数据库连接URL
KINETICA_USER: 数据库用户
KINETICA_PASSWD: 安全密码

连接成功后，您可以创建KineticaChatLLM实例以验证连接。

代码示例

以下示例展示了从自然语言转换为SQL的完整过程：

from langchain_community.chat_models.kinetica import ChatKinetica

kinetica_llm = ChatKinetica()
table_name = "demo.user_profiles"
kinetica_ctx = "demo.test_llm_ctx"

# 创建测试数据
from faker import Faker
import pandas as pd

faker = Faker()
load_df = pd.DataFrame.from_records(
    (dict(id=id, **faker.simple_profile()) for id in range(100)), index="id"
)

# 将数据加载到Kinetica表中
from gpudb import GPUdbTable

gpudb_table = GPUdbTable.from_df(
    load_df,
    db=kinetica_llm.kdbc,
    table_name=table_name,
    clear_table=True,
    load_data=True,
)

# 创建LLM上下文
from gpudb import GPUdbSamplesClause, GPUdbSqlContext, GPUdbTableClause

table_ctx = GPUdbTableClause(table=table_name, comment="包含用户资料。")
samples_ctx = GPUdbSamplesClause([("有多少男性用户？", f"select count(1) from {table_name} where sex = 'M';")])
context_sql = GPUdbSqlContext(name=kinetica_ctx, tables=[table_ctx], samples=samples_ctx).build_sql()
kinetica_llm.kdbc.execute(context_sql)

# 推理并生成SQL
from langchain_core.prompts import ChatPromptTemplate

ctx_messages = kinetica_llm.load_messages_from_context(kinetica_ctx)
ctx_messages.append(("human", "{input}"))

prompt_template = ChatPromptTemplate.from_messages(ctx_messages)

from langchain_community.chat_models.kinetica import KineticaSqlOutputParser, KineticaSqlResponse

chain = prompt_template | kinetica_llm | KineticaSqlOutputParser(kdbc=kinetica_llm.kdbc)

response: KineticaSqlResponse = chain.invoke(
    {"input": "按用户名排序的女性用户有哪些？"}
)

print(f"SQL: {response.sql}")
print(response.dataframe.head())