python读取数据库数据到本地，每20W条数据，在D盘形成一个新的excel表

枫叶无秋

于 2023-05-16 16:23:33 发布

阅读量153

点赞数

文章标签： python 数据库 excel

本文链接：https://blog.csdn.net/please_help_/article/details/130708457

版权

pip install sqlalchemy

pip install pandas

import pandas as pd
from sqlalchemy import create_engine
#建立数据库连接
conn1 = create_engine('mysql+mysqlconnector://user:password@:端口/库名；')

#读取MySQL中的数据表
sql = 'select * from 表名'
df1 = pd.read_sql(sql,conn1)

#关闭数据库连接
conn1.dispose()
#conn1.close() 报错 'Engine' object has no attribute 'close'

#将数据写入多个Excel表格，每20万条数据一个表格
#设置每组记录数
chunk_size = 200000

#根据每组记录数分割数据框并生成多个Excel文件
for i, chunk in enumerate(df1.groupby(df1.index // chunk_size)):
    new_df = chunk[1]
    new_df.to_excel(f'D:\---\chunk_{i}.xlsx')