我们都知道,很多后台任务,都是很消耗资源和内存的。
例如,把很多数据从DB拿出来以后,拼装生成一个Excel,Excel往往是消耗内存的,因为除了数据Excel还存储了很多格式信息。如果很多用户同时提交导出Excel的操作,那么server将会吃不消。
所以,我们需要把这些任务进行分批处理。如何分批处理呢?最好的办法,是根据server的承受能力,设置同一时间能够处理的任务数,然后让几百个request在一个queue里面等待处理。
当然,这些操作最好是异步的,因为后台的操作时间往往是漫长的,所以,不要让前端为这些繁杂的任务执行而做等待。
这个可以说是一个“线程池”的概念。简单的雏形如下:
但实际中的线程池可以是更加复杂的,因为一个任务可以分为粒度更小的子任务。
比如说,导出Excel可以分为好几个阶段,而每个阶段所消耗的资源又是不一样的。
所以每个阶段,server能够承担的任务数量又是不一样的。
导出Excel分为三个阶段,那么要开启三种不同的线程池,而每个池中的线程数量又是不一样的。
阶段1:校验DB数据,这个因为纯数据不会消耗太多的CPU和MEM,所以大家都可以比较快做完,
所以,可以把这个阶段的线程池的线程数量调成20.
阶段2:是生成Excel的阶段,这时候需要消耗较多的资源那么做完校验的任务,可以再这个阶段排一下队。
。。。
转载于:https://blog.51cto.com/6221123/1061011