DuckDB 开源项目教程

DuckDB 开源项目教程

duckdbDuckDB is an in-process SQL OLAP Database Management System项目地址:https://gitcode.com/gh_mirrors/du/duckdb

项目介绍

DuckDB 是一个高性能的分析型数据库系统，设计为快速、可靠、便携且易于使用。它提供了一个丰富的 SQL 方言，支持远远超出基本 SQL 的功能，包括任意和嵌套的相关子查询、窗口函数、排序规则、复杂类型（数组、结构体、映射）以及多个旨在使 SQL 更易于使用的扩展。DuckDB 可作为独立的 CLI 应用程序使用，并拥有 Python、R、Java、Wasm 等客户端，与 pandas 和 dplyr 等包有深度集成。

项目快速启动

安装

要安装 DuckDB，可以使用以下命令：

pip install duckdb

基本使用

以下是一个简单的示例，展示如何使用 DuckDB 进行数据查询：

import duckdb

# 连接到内存数据库
con = duckdb.connect(database=':memory:')

# 创建一个表
con.execute("CREATE TABLE items (id INT, name STRING)")

# 插入数据
con.execute("INSERT INTO items VALUES (1, 'Apple'), (2, 'Banana')")

# 查询数据
result = con.execute("SELECT * FROM items").fetchall()
print(result)

应用案例和最佳实践

数据分析

DuckDB 非常适合用于数据分析任务，特别是在处理大型数据集时。以下是一个使用 DuckDB 进行数据分析的示例：

import duckdb
import pandas as pd

# 创建一个 DataFrame
data = {'id': [1, 2, 3], 'value': [10, 20, 30]}
df = pd.DataFrame(data)

# 连接到 DuckDB
con = duckdb.connect()

# 将 DataFrame 注册为 DuckDB 中的表
con.register('my_table', df)

# 执行查询
result = con.execute("SELECT id, value FROM my_table WHERE value > 15").fetchall()
print(result)

实时查询

DuckDB 也适用于实时查询场景，特别是在需要快速响应的分析应用中。以下是一个实时查询的示例：

import duckdb

# 连接到 DuckDB
con = duckdb.connect()

# 创建一个表并插入数据
con.execute("CREATE TABLE logs (timestamp TIMESTAMP, message STRING)")
con.execute("INSERT INTO logs VALUES (CURRENT_TIMESTAMP, 'Log message 1')")

# 实时查询
result = con.execute("SELECT * FROM logs WHERE timestamp > '2023-01-01'").fetchall()
print(result)

典型生态项目

DuckDB 扩展

DuckDB 支持多个扩展，这些扩展可以增强其功能。例如，duckdb_aws 扩展允许 DuckDB 与 AWS 服务集成，substrait 扩展提供了与其他数据处理系统的互操作性。

客户端库

DuckDB 提供了多种客户端库，包括 Python、R、Java 和 Wasm。这些客户端库使得在不同编程语言和环境中使用 DuckDB 变得更加容易。

集成包

DuckDB 与多个数据科学包有深度集成，如 pandas 和 dplyr。这些集成使得在数据科学工作流中使用 DuckDB 变得更加高效。

import duckdb
import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({'id': [1, 2, 3], 'value': [10, 20, 30]})

# 使用 DuckDB 进行查询
con = duckdb.connect()
result = con.execute("SELECT * FROM df WHERE value > 15").df()
print(result)

通过以上内容，您可以快速了解并开始使用 DuckDB 进行数据分析和实时查询。

duckdbDuckDB is an in-process SQL OLAP Database Management System项目地址:https://gitcode.com/gh_mirrors/du/duckdb