Python使用DuckDB数据库

以下为授权转载的一盎司科技公众号文章


DuckDB类似于SQLite,也被设计用作可嵌入的数据库,是面向列的可嵌入 OLAP 数据库。兼容主流操作系统,并可以在主流编程语言中使用。这里简单介绍在Python中使用DuckDB数据库。详细介绍可参考官方文档(http://duckdb.org/docs)。

示例代码地址:

GitHub地址:https://github.com/iounce/python-cpp-demo

Gitee地址:https://gitee.com/iounce_admin/python-cpp-demo

环境

  • Windows操作系统:Windows10(21H2,19044.1766)

  • C++开发环境:Visual Studio 2022社区版

  • Python:3.10.4

  • DuckDB: 0.8.1

安装DuckDB

在Python中使用,直接使用如下命令安装即可:

pip install duckdb

DuckDB库API

Python中使用DuckDB还是比较方便的,可以与CSV,JSON等文件结合,还可以与pandas的DataFrame进行输入输出转换。

常用API如下:

  • duckdb.read_csv: 从CSV文件获取数据;

  • duckdb.read_json: 从JSON文件获取数据;

  • duckdb.connect: 连接数据库,如果指定的数据库不存在则创建一个新的;

  • connection.execute:执行一条sql语句,如insert,select语句;

  • connection.sql:执行一条sql语句,类似connection.execute;

  • connection.fetchall:获取查询结果集的所有行数据,返回一个列表;

  • connection.close:关闭数据库连接。

DuckDB封装类

根据上述API,这里简单做个封装处理,接口类似上一篇SQLite,方便调用。

  • 构造函数__init__:增加数据库文件名的入参,并初始化变量等。

图片

  • 打开函数open():打开DuckDB连接,用于后续调用,这里加入异常判断。

图片

  • 写入函数insert()/insert_batch():根据设置好的SQL语句,执行写入操作,批量接口和单条一样,sql中增加多条语句即可。

图片

  • 查询函数query():调用API和insert()函数类似,都是execute接口,但是查询会调用fetch_all接口,用于返回结果。

图片

  • 执行函数execute():这里自定义的执行函数,其实为了方便封装create和delete函数,其实都是调用execute接口,只是方便调用者区分使用,其实调用insert()函数也可以。

图片

  • 关闭函数close():用于关闭连接,释放资源。

图片

示例代码

接下来,我们使用封装好的DuckDB类来编写测试代码,简单起见,直接写SQL语句调用。首先打开数据库,创建名为tb_test的表,然后写入测试数据,接着查询数据,最后关闭连接。

此处的示例与上一篇SQLite类似,只是sql脚本有些许差别。

图片

说明:

  • 这里DuckDB自增长需要使用sequence来实现,通过nextval('seq')函数获取唯一值;

  • insert语句中,表后面的字段无需加单引号(加了反而报错)。

这里只是简单介绍Python下的DuckDB的使用,可以根据需要继续完善封装类,更多用法也可以官方参考文档。

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值