excel导出大批量数据分析

一：最近有个需求是需要导出客户资料数据到excel，但是数据量比较大，常规的excel导出会超时，而且出现内存溢出问题。因为客户资料涉及的模块比较多需要分sheet存储，因此csv模式导出不太适合。因此考虑使用队列异步导出。

二：具体实现原理

首先会有一个导出方法，接收前端的搜索参数，把筛选条件存入redis，同时会根据筛选条件查到客户数据的最大和最小id，存储redis.然后启动一个队列进程A处理刚才的筛选条件，同上加上最大和最小id maxId和minId，也就是between  minId and maxId 一次查询1万条数据开始处理客户数据，把处理好的数据存储到redis,处理完把最后一条数据的客户id+1更新minId 继续下一次数据处理，直到minId >= maxId或者 limit 1万数据结果小于等于1万 结束队列处理，同时启动一个生成excel文件的队列进程B，该队列进程根据redis数据循环处理添加到Excel中，生成excel文件。