Python 遍历 Mysql 表中数据

最新推荐文章于 2024-07-28 03:23:51 发布

lazyun

最新推荐文章于 2024-07-28 03:23:51 发布

阅读量1.1w

点赞数

分类专栏： Python 笔记 Mysql 大数据

本文链接：https://blog.csdn.net/Phoenix_Lzy/article/details/79027459

版权

本文讨论了如何在Python中遍历包含几千万到几亿条记录的MySQL表，对比了两种方案：使用`fetchmany()`和流式游标。`fetchmany()`在大数据量时性能下降，而流式游标虽能解决此问题，但需注意MySQL的net_buffer_length和interactive_timeout设置，以及并发操作时的会话管理。

摘要由CSDN通过智能技术生成

需求

Mysql 表中存在几千万到几亿的数据（不存在自增主键），需要对表中数据进行遍历。

使用的是 pymysql 模块。

方案 1

使用 limit 来分块返回数据。
劣势：使用 limit 每次都需要从头扫描数据表，在数据量超过 1000w 时，性能较低。

LIMIT = 5000
def get_name(sql_client, table_name):
    i = 0
    while True:
        sql.ping()
        cur = sql.cursor()

        sql_cmd = 'select did from {} limit {}, {}'.format(table_name, i * LIMIT, LIMIT)

        rt = cur.execute(sql_cmd)
        rt_list = cur.fetchall()
        cur.close()