最近优化跑数的job,主要思路是串行拆分为并行,执行单元重构(调用外部接口需要异步)。
首先,尝试了guava 的ListeningExecutorService,对于多线程的操作确实非常方便。但不适用于我们这个场景,并发的粒度没有那么细,相对于实时响应的系统,job 不需要这样复杂的编码。
然后,继续使用喜爱的spring @Async,编码量小,体现更多的是设计,只要合理拆分执行单元,就可以轻松达到优化的效果。
使用过程中,针对task:executor 实现记录如下:
1. 不指定executor,spring 提供默认的多线程实现SimpleAsyncTaskExecutor (为每个task 创建Thread)。
2. 如果指定executor,则根据参数最终创建ThreadPoolExecutor。
3. 参数pool-size,可以为n or n-m 表达式,只配置n,相当于core-size = max-size = n;配置n-m,相当于配置core-size = n, max-size = m。
4. 参数queueCapacity,rejection-policy 相对应,默认情况是queue满, abort。
5. 参数keep-alive,具体初始化为ThreadPoolExecutor 的keepAliveTime,单位为s。
实例化: new ThreadPoolExecutor(this.corePoolSize, this.maxPoolSize, this.keepAliveSeconds,TimeUnit.SECONDS, queue, threadFactory, rejectedExecutionHandler);