近期肺炎严重,春节期间都在家闭关,闲暇时间捡起了之前学习的python,刚好最近在项目上处理大批量数据,从数据库导出数据效率比较低,就想通过python实现导出,结果效率果然很高,基本5-10秒内就导出了,比从mysql数据库直接导出excel效率高了很多。
需求:实现工具类,实现输入库表或sql语句,从数据库导出10万+级数据,要比从mysql导出快捷方便。
实现:以下是实现方式,基本是迭代方式,先实现导出,再实现大批量导出,再优化效率,然后改成公共方法。
首先我导出的数据的数据量基本都超过10万,所以直接使用python的openpyxl,而不是xlwt,xlwt限制6万多条。
1、先import xlwt库,pip install xlwt安装
2、代码编写思路:通过函数实现导出数据,导出表头无需写死,直接通过指定sql读取。所有封装了2个函数,读数据库封装一个方法,写excel封装另外一个方法,详细代码如下:
import MySQLdb
from openpyxl import Workbook
from openpyxl.compat import range
from openpyxl.utils import get_column_letter
import openpyxl
def query_all(sql):
# 连接数据库,查询数据
db = MySQLdb.connect(host="127.0.0