通过pandas读取mysql中的数据_在python中利用pandas读取MySQL中的数据并将其写入excel表格中...

问题描述：

猫哥在抓取了一大批数据后(过百万)想经过navicate直接导出成excel表格，然而发现电脑和navicate都不给力，导出到一半就会卡死，关都关不掉。因而便想到了强大的pandasmysql

解决办法：

利用pandas从mysql中将数据读出来，再将读出的数据写到excel表格中。sql

代码实现：

# coding=utf-8

import pandas as pd

from pandas import DataFrame, Series

from sqlalchemy import create_engine

import time

# 开始时间

start =time.time()

# 创建连接

engine = create_engine('mysql+pymysql://root:root@127.0.0.1:3306/MyDB')

# 查询语句

sql = '''select * from test_table;'''

# 读取mysql

df = pd.read_sql_query(sql, engine)

print("从mysql中读取数据成功！开始将数据导入到excel表格中...")

# 将读取的数据格式化成DataFrame类型

test_data = DataFrame.from_records(df)

# 将数据写入excle中

test_data.to_excel("E:\\data\\testdata.xlsx", index=False)

print("导出成功！")

# 程序结束时间

end = time.time()

# 打印出程序的运行时间

print('Running time: {} Seconds'.format(end-start))

注：excel表格的最大行数是1048576，若是数据量大于这个数，须要本身增长表格哦！excel

完毕！code