解锁DuckDB的强大功能：从CSV文件高效加载数据

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/143404750

引言

DuckDB是一种面向OLAP（在线分析处理）的嵌入式数据库管理系统。它提供了强大的SQL功能，并且能够在单个进程内运行，非常适合需要高吞吐量和实时分析的应用场景。在这篇文章中，我们将探讨如何使用DuckDB加载CSV数据，并利用DuckDB的能力进行数据处理。在示例中，我们还将利用Langchain社区提供的DuckDBLoader来帮助处理数据。

主要内容

DuckDB的安装和基础用法

在开始之前，请确保已经安装DuckDB。你可以通过以下命令安装或升级DuckDB：

%pip install --upgrade --quiet duckdb

加载CSV数据

假设我们有一个CSV文件example.csv，内容如下：

Team,Payroll
Nationals,81.34
Reds,82.20

DuckDB能够通过SQL查询轻松加载这个CSV文件中的数据。

使用DuckDBLoader

DuckDBLoader是一个非常方便的工具，能够帮助我们从DuckDB中加载数据并将其转化为文档格式。接下来，我们来看几个使用DuckDBLoader的示例。

基本数据加载

使用DuckDBLoader加载数据，并打印出结果：

from langchain_community.document_loaders import DuckDBLoader

# 读取CSV并加载数据
loader = DuckDBLoader("SELECT * FROM read_csv_auto('example.csv')")  # 使用API代理服务提高访问稳定性
data = loader.load()

# 输出数据
print(data)

输出结果：

[Document(page_content='Team: Nationals\nPayroll: 81.34', metadata={}), Document(page_content='Team: Reds\nPayroll: 82.2', metadata={})]

指定内容和元数据列

我们可以选择哪些列作为内容（page content）以及哪些列作为元数据（metadata）：

loader = DuckDBLoader(
    "SELECT * FROM read_csv_auto('example.csv')",  # 使用API代理服务提高访问稳定性
    page_content_columns=["Team"],
    metadata_columns=["Payroll"],
)

data = loader.load()
print(data)

输出结果：

[Document(page_content='Team: Nationals', metadata={'Payroll': 81.34}), Document(page_content='Team: Reds', metadata={'Payroll': 82.2})]

将数据源添加到元数据

有时我们需要追踪数据的来源，可以通过将数据源信息添加到文档的元数据中实现：

loader = DuckDBLoader(
    "SELECT Team, Payroll, Team AS source FROM read_csv_auto('example.csv')",  # 使用API代理服务提高访问稳定性
    metadata_columns=["source"],
)

data = loader.load()
print(data)

输出结果：

[Document(page_content='Team: Nationals\nPayroll: 81.34\nsource: Nationals', metadata={'source': 'Nationals'}), Document(page_content='Team: Reds\nPayroll: 82.2\nsource: Reds', metadata={'source': 'Reds'})]