python读取数据库数据到本地,每20W条数据,在D盘形成一个新的excel表

pip install sqlalchemy

pip install pandas

import pandas as pd
from sqlalchemy import create_engine
#建立数据库连接
conn1 = create_engine('mysql+mysqlconnector://user:password@:端口/库名;')

#读取MySQL中的数据表
sql = 'select * from 表名'
df1 = pd.read_sql(sql,conn1)

#关闭数据库连接
conn1.dispose()
#conn1.close() 报错 'Engine' object has no attribute 'close'

#将数据写入多个Excel表格,每20万条数据一个表格
#设置每组记录数
chunk_size = 200000

#根据每组记录数分割数据框并生成多个Excel文件
for i, chunk in enumerate(df1.groupby(df1.index // chunk_size)):
    new_df = chunk[1]
    new_df.to_excel(f'D:\---\chunk_{i}.xlsx')

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值