背景
由于项目上要和其他系统交互,而该系统采用同步接口,我们采用单线程调用,接收一条数据平均需要4~6s。而我们需要汇总近三个月的订单信息,大约一次有几千条数据,所以进行一次交互大概需要几百分钟。经过沟通后,对方系统不愿意修改他们的程序,所以我们这边就要改成多线程多次同时调用接口,来达到降低处理时间的效果。
代码
话不多说,先上代码
public ReturnT execute(Map<String, String> map, SchedulerTool tool) {
tool.info("<==== MakeOrderOutJob is starting: " + map);
//获取最大线程数
int threadNum = Integer.parseInt(map.get("threadNum"));
//获取线程结束超时时间
int timeOut = Integer.parseInt(map.get("timeOut"));
//获取传输最大条数
int max = Integer.parseInt(map.get("max"));
//获取待发送的生产订单数据
List<MakeOrder> makeOrderList = makeOrderRepository.getMakeOrder(max);
tool.info("<==== MakeOrderOutJob makeOrderList size: " + makeOrderList.size());
//返回消息集合
List<MakeOrderReturnVO> makeOrderReturnVoList = new ArrayList<>();
try {
//手动创建线程池
ThreadFactory namedThreadFactory = new ThreadFactoryBuilder().setNameFormat("thread-call-runner-%d").build();
ExecutorService executor = new ThreadPoolExecutor(threadNum, threadNum, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue<Runnable>(), namedThreadFactory);
//循环所有待传出数据,调用接口
makeOrderList.stream().forEach(one -> {
executor.execute(new ThreadPoolMakeOrderOutTask(tool, user, password, url, one, moRequirementRepository.getMoRequirementList(one.getKid()), makeOrderReturnVoList, restUtil, makeOrderRepository));
});
executor.shutdown();
while (!executor.awaitTermination(timeOut, TimeUnit.SECONDS)) {
executor.shutdownNow();
}
tool.info("<==== MakeOrderOutJob makeOrderReturnVoList size: " + makeOrderReturnVoList.size());
//循环返回结果更新接口表
makeOrderReturnVoList.stream().forEach((vo) -> {
tool.info("<==== MakeOrderOutJob update status: " + vo.getMessageV1());
//更新接口表状态
vo.setStatus(vo.getType());
tool.info("<==== MakeOrderOutJob update status success: " + vo.getMessageV1());
});
} catch (Exception e) {
e.printStackTrace();
tool.error("<==== MakeOrderOutJob is error: " + e.getMessage());
return ReturnT.FAILURE;
}
return ReturnT.SUCCESS;
}
总结
这里用到了线程池ExecutorService
1.线程的创建
public ThreadPoolExecutor(int corePoolSize,
int maximumPoolSize,
long keepAliveTime,
TimeUnit unit,
BlockingQueue<Runnable> workQueue,
ThreadFactory threadFactory) {
this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
threadFactory, defaultHandler);
}
线程池一共有五种
- newCachedThreadPool:用来创建一个可以无限扩大的线程池
- newFixedThreadPool:创建一个固定大小的线程池
- newSingleThreadExecutor:创建一个单线程的线程池
- newScheduledThreadPool:可以延时启动,定时启动的线程池
- newWorkStealingPool:创建一个拥有多个任务队列的线程池
经BD后发现所有的线程池最终都是通过ThreadPoolExecutor创建的
其中各个参数说明:
corePoolSize : 核心线程数,一旦创建将不会再释放。如果创建的线程数还没有达到指定的核心线程数量,将会继续创建新的核心线程,直到达到最大核心线程数后,核心线程数将不在增加;如果没有空闲的核心线程,同时又未达到最大线程数,则将继续创建非核心线程;如果核心线程数等于最大线程数,则当核心线程都处于激活状态时,任务将被挂起,等待空闲线程来执行。
maximumPoolSize : 最大线程数,允许创建的最大线程数量。如果最大线程数等于核心线程数,则无法创建非核心线程;如果非核心线程处于空闲时,超过设置的空闲时间,则将被回收,释放占用的资源。
keepAliveTime : 当线程空闲时,所允许保存的最大时间,超过这个时间,线程将被释放销毁,但只针对于非核心线程。
unit : 时间单位,TimeUnit.SECONDS等。
workQueue : 任务队列,存储暂时无法执行的任务,等待空闲线程来执行任务。
threadFactory : 线程工程,用于创建线程。本例用到new ThreadFactoryBuilder().setNameFormat("thread-call-runner-%d").build();来为线程创建名称。
handler : 当线程边界和队列容量已经达到最大时,用于处理阻塞时的程序
2.创建好了线程后就要执行任务,实现多线程有三种方法
继承Thread类,重写run方法
实现Runnable接口,重写run方法
实现Callable接口,重写call方法(有返回值)
本例中ThreadPoolMakeOrderOutTask用到了第2种方法
3.任务执行完毕,要结束线程池任务
本例调用shutdown() 方法在终止前允许执行以前提交的任务,shutdown()方法的作用是:停止接收新任务,原来的任务继续执行
然后调用awaitTermination(long timeOut, TimeUnit unit)方法,使当前线程阻塞,直到:
等所有已提交的任务(包括正在跑的和队列中等待的)执行完
或者 等超时时间到了(timeout 和 TimeUnit设定的时间)
或者 线程被中断,抛出InterruptedException
然后会监测 ExecutorService 是否已经关闭,返回true(shutdown请求后所有任务执行完毕)或false(已超时)
最后调用shutdownNow()方法,停止接收新任务,原来的任务停止执行
结果
经测试,启用多线程后,发现交互时间确实有明显提升。