管理员后台导出月度数据,数据量约20w
原功能每次限制5w数据查询导出,操作繁琐。新功能仅需选择时间区间可全部导出。
实现方式
针对原方式的限定5w数据查询,修改为按5w分页查询,每页数据存储在Excel文件的一个sheet表中。
修改后的表现
按照20w数据测试,导出速度慢,分页查询时,常出现数据库连接超时情况。从日志记录的时间看,主要问题在于数据查询,数据导出为10多秒。
问题分析
原数据查询接口使用mybatis自动生成的单表查询接口,包含较多未使用字段,业务处理中包含了对码值的循环处理,以及DO和VO的转换,20w数据的循环次数很多,创建sheet文件时,使用反射的方式循环取值。
修改方式
- 采用自定义的sql语句进行数据查询,仅查询报表表样需要的数据
- 去掉DO与VO的转换,因为数据是直接写入文件后导出,没有转换的必要
- 去掉业务中对码值的转换,改为sql语句中处理转码操作
- 修改Excel导出api,由原有的反射取值方式,修改为采用回调方式,由调用类实现VO的取值方法,api进行回调,避免使用反射,同时可以确保表头和内容的顺序对应(可选)
修改后效果
修改后,数据查询不在出现超时情况,测试环境上20w数据查询时间在6s左右,文件导出用时16s左右基本满足需求。
一些收获
有关性能优化的问题,首要要找到性能瓶颈,然后分析原因,再提出优化方式。
开发环境并不适用于性能优化的测试,因为硬件,网络等各种原因都会产生影响,应该尽量在贴近生产的环境进行测试处理。