connector-x | 让数据从DB高速导入到DataFrame中

邓旭东HIT

于 2021-08-27 20:10:00 发布

阅读量2.2k

点赞数 1

文章标签： mysql python postgresql epoll nosql

本文链接：https://blog.csdn.net/weixin_38008864/article/details/119962735

版权

开学特惠| Python网络爬虫与文本分析

ConnectorX 使您能够以最快和最节省内存的方式将数据从数据库加载到 Python 中。

你需要的是一行代码：

import connectorx as cx

cx.read_sql("postgresql://username:password@server:port/database", "SELECT * FROM lineitem")

或者，您可以通过指定**分区字段(列)**来使用并行性加速数据加载。

import connectorx as cx

cx.read_sql("postgresql://username:password@server:port/database", "SELECT * FROM lineitem", partition_on="l_orderkey", partition_num=10)

该函数将通过将**指定字段(列)**平均拆分为分区数量来对查询进行分区。Connecto

最低0.47元/天解锁文章