项目中遇到的问题(四) @async的用法及其批量处理大量数据的思路

@async的用法

@async注解可以放在类上，或者注解上。可以使方法或类异步的执行。
一般我们会配合线程池去使用

自定义线程池

 @EnableAsync
 @Configuration
 class TaskPoolConfig {
 
  @Bean("taskExecutor")
  public Executor taskExecutor() {
   ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
   executor.setCorePoolSize(10);
   executor.setMaxPoolSize(20);
   executor.setQueueCapacity(200);
   executor.setKeepAliveSeconds(60);
   executor.setThreadNamePrefix("taskExecutor-");
   executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
   return executor;
  }
 }
}

async指定线程池

@Component
public class Task {
 public static Random random = new Random();
 @Async("taskExecutor")
 public void doTaskOne() throws Exception {
  log.info("开始做任务一");
  long start = System.currentTimeMillis();
  Thread.sleep(random.nextInt(10000));
  long end = System.currentTimeMillis();
  log.info("完成任务一，耗时：" + (end - start) + "毫秒");
 }
 
 @Async("taskExecutor")
 public void doTaskTwo() throws Exception {
  log.info("开始做任务二");
  long start = System.currentTimeMillis();
  Thread.sleep(random.nextInt(10000));
  long end = System.currentTimeMillis();
  log.info("完成任务二，耗时：" + (end - start) + "毫秒");
 }
 
 @Async("taskExecutor")
 public void doTaskThree() throws Exception {
  log.info("开始做任务三");
  long start = System.currentTimeMillis();
  Thread.sleep(random.nextInt(10000));
  long end = System.currentTimeMillis();
  log.info("完成任务三，耗时：" + (end - start) + "毫秒");
 }
}

测试

@RunWith(SpringJUnit4ClassRunner.class)
@SpringBootTest
public class ApplicationTests {
 @Autowired
 private Task task;
 @Test
 public void test() throws Exception {
  task.doTaskOne();
  task.doTaskTwo();
  task.doTaskThree();
  Thread.currentThread().join();
 }
}

测试发现三个方法异步执行

批量处理大量数据的思路

我们知道大量数据，可以通过分批，每一批，通过一个线程，多线程并发的处理，但实际中该如何做呢？

1. 我们自定义一个线程池
2. 写一个处理数据的callable实现类
3. 将传入的数据集合可以通过sublist分批，分批的长度可以指定
4. 将每一批，调用callable，提交到线程池，实现多线程处理，并将FutureTask存到集合中
5. 获取处理结果，可指定超时时间。可以使用此函数task.get(threadBlockTimeSeconds, TimeUnit.SECONDS)