在python中利用pandas读取MySQL中的数据并将其写入excel表格中

问题描述:

猫哥在抓取了一大批数据后(过百万)想通过navicate直接导出成excel表格,然而发现电脑和navicate都不给力,导出到一半就会卡死,关都关不掉。于是便想到了强大的pandas

解决办法:

利用pandas从mysql中将数据读出来,再将读出的数据写到excel表格中。

代码实现:

# coding=utf-8
import pandas as pd
from pandas import DataFrame, Series
from sqlalchemy import create_engine
import time

# 开始时间
start =time.time()
# 建立链接
engine = create_engine('mysql+pymysql://root:root@127.0.0.1:3306/MyDB')
# 查询语句
sql = '''select * from test_table;'''
# 读取mysql
df = pd.read_sql_query(sql, engine)
print("从mysql中读取数据成功!开始将数据导入到excel表格中...")
# 将读取的数据格式化成DataFrame类型
test_data = DataFrame.from_records(df)
# 将数据写入excle中
test_data.to_excel("E:\\data\\testdata.xlsx", index=False)
print("导出成功!")
# 程序结束时间
end = time.time()
# 打印出程序的运行时间
print('Running time: {} Seconds'.format(end-start))

注:excel表格的最大行数是1048576,如果数据量大于这个数,需要自己增加表格哦!

完毕!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值