mysql批次获取部分数据python实现

GIS从业者

已于 2024-03-27 11:22:44 修改

阅读量405

点赞数 8

分类专栏： MySQL、postgresq、MongoDB、Redis 文章标签：数据库 mysql

于 2024-03-13 15:28:38 首次发布

本文链接：https://blog.csdn.net/yilvyangguang520/article/details/136681717

版权

MySQL、postgresq、MongoDB、Redis 专栏收录该内容

69 篇文章 3 订阅

订阅专栏

本文介绍了一种在处理大量数据时的优化策略，通过设置SQL查询的batch_size为2000，使用OFFSET分批获取数据，当结果集为空时停止循环，有效管理内存并提高数据库查询效率。

摘要由CSDN通过智能技术生成

# 设置每次获取数据的批量大小
        batch_size = 2000
        sql="SELECT DISTINCT * FROM {} ORDER BY OBJECTID LIMIT %s OFFSET %s".format(
            tablename)
        offset = 0
        while True:
            sql=sql % (batch_size,offset)
            data_mysqls = Mysqlbaidupoi.query(sql)
            # 如果结果集为空，则退出循环
            if not data_mysqls:
                break
            # 更新偏移量
            offset += batch_size