接上一篇关于自动生成费用表并添加附件发送的博客,个人认为还需优化的有一处:
当数据量大时,所耗时间相应增加,尤其是读取记录的时间。当模拟10万条业务记录的excel,运行所耗时间就比较长了,从查询到生成表格损耗时间为30s左右。自己仍在学习如何优化中,比如使用数据库是否查询效能更快等。
以下为生成模拟十万条记录的python代码,主要用numpy和pandas库。模拟数据保存到本地的新excel中。
import pandas as pd
import numpy as np
import openpyxl
import datetime as datetime
'''生成模拟数据,假设每天有1000条业务记录,编号为DZ181201332001-DZ181201332999,共100天,10万条记录'''
len_of_index=100000
days=round(len_of_index/1000)
date1='2018-10-10'
date_01=datetime.datetime.strptime(date1,"%Y-%m-%d")
date_temp=date_01
date_index=[]
date_list=[]
for i in range(days):
date_temp+=datetime.timedelta(days=1)
date_temp_str=datetime.