解密DuckDB：轻松处理文档数据库

llzwxh888

于 2024-10-07 07:37:47 发布

阅读量434

点赞数 3

文章标签：数据库 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142734984

版权

# 引言

在大数据分析和处理领域，DuckDB正迅速崭露头角。作为一种高效的、嵌入式的SQL OLAP数据库管理系统，DuckDB提供了强大的数据查询能力。在这篇文章中，我们将探讨如何使用DuckDB加载文档，并提供实用的代码示例。

# 主要内容

## 什么是DuckDB？

DuckDB是一个面向分析工作负载优化的SQL数据库，设计用于嵌入应用程序中。这意味着它可以在不依赖外部服务的情况下直接在应用程序中运行，非常适合数据分析和报告任务。

## 安装和基础配置

首先，确保你安装了DuckDB库。可以通过以下命令安装：

```bash
%pip install --upgrade --quiet duckdb

此安装步骤非常简单，并且由于DuckDB是内嵌数据库，你无需设置外部服务器。

使用DuckDB进行文档查询

我们将通过langchain_community.document_loaders库中的DuckDBLoader来加载数据。以下是一个基本示例：

示例CSV内容

首先，我们准备一个CSV文件：

Team,Payroll
Nationals,81.34
Reds,82.20

基本查询

from langchain_community.document_loaders import DuckDBLoader

loader = DuckDBLoader("SELECT * FROM read_csv_auto('example.csv')")

data = loader.load()

print(data)
# 输出:
# [Document(page_content='Team: Nationals\nPayroll: 81.34', metadata={}), Document(page_content='Team: Reds\nPayroll: 82.2', metadata={})]

定制内容和元数据

DuckDBLoader允许你指定哪些列是内容，哪些是元数据：

loader = DuckDBLoader(
    "SELECT * FROM read_csv_auto('example.csv')",
    page_content_columns=["Team"],
    metadata_columns=["Payroll"],
)

data = loader.load()

print(data)
# 输出:
# [Document(page_content='Team: Nationals', metadata={'Payroll': 81.34}), Document(page_content='Team: Reds', metadata={'Payroll': 82.2})]

添加源信息到元数据

你还可以向元数据中添加额外的信息，比如“来源”：

loader = DuckDBLoader(
    "SELECT Team, Payroll, Team As source FROM read_csv_auto('example.csv')",
    metadata_columns=["source"],
)

data = loader.load()

print(data)
# 输出:
# [Document(page_content='Team: Nationals\nPayroll: 81.34\nsource: Nationals', metadata={'source': 'Nationals'}), Document(page_content='Team: Reds\nPayroll: 82.2\nsource: Reds', metadata={'source': 'Reds'})]