最近每次导出mysql数据为excel的时候,都需要去修改对应的行,列,删除一些不需要的数据,就想着写一个自定义程序模板来导出数据,在此记录一下遇到的一些坑,存excel的时候一定要加上encooding=utf-8-sig,要不然数据会乱码,别问我怎么知道的!!!。
多条件查询
import pandas as pd
import pymysql
def mysql_to_excel(database, queries, file_name):
"""
多条件查询数据,并生成excel文件。
:param database: 数据库名称
:param queries: 查查询条件(自定义)
:param file_name: excel表名称
:return:
"""
db = pymysql.connect('localhost', 'username', 'password', db=database, charset='utf8')
# ExcelWriter()可以向同一个excel的不同sheet中写入对应的表格数据,首先需要创建一个writer对象,传入的主要参数为已存在容器表格的路径及文件名称
writer = pd.ExcelWriter(file_name)
for sheet_name, query in queries.items():
# 返回sql查询结果
df = pd.read_sql_query(query, db)
# header参数: 指定列名行,默认0,即取第一行,数据为列名行以下的数据 若数据不含列名,则设定header=None,注意这里还有列名的一行。
header = ['县', "乡镇", "姓名"]
# colums参数 选择输出的的列。
columns = ["county", "township", "name"]
# index 默认为True,显示index,当index=False 则不显示行索引(名字)
df.to_excel(writer, sheet_name=sheet_name, index=False, columns=columns, encoding='utf-8-sig', header=header)
writer.save()
if __name__ == '__main__':
# 表名称
file_name = "table_name"
queries = {
'自定义1': "select * from table1",
'自定义2': "select * from table2",
}
# 数据库名称 查询条件
mysql_to_excel('database', queries, f'{file_name}.xlsx')
查询sql数据存csv文件
import pandas as pd
import pymysql
def db_to_csv(database, query, file_name):
"""
查询mysql数据存csv文件
:param database: 数据库名称
:param query: 查询条件(自定义)
:param file_name: 文件名称
:return:
"""
db = pymysql.connect('localhost', 'username', 'password', charset='utf8', db=database)
df = pd.read_sql_query(query, db)
# # index 默认为True,显示index,当index=False 则不显示行索引(名字)
df.to_csv(file_name, index=False, encoding='utf-8-sig')
if __name__ == '__main__':
db_to_csv('database', 'SELECT * FROM table;', 'demo.csv')
ps.参考文档
read_sql_query
to_excel