最近监控发现系统越来越慢,学妹被她公司领导逼急了,询问我能优化一下性能吗。我看了下业务:
-
用户在app下单,生成电子订单,保存在订单库
-
物流生成派送单给用户发货,派送单保存在派送单库
-
为避免漏派、重复派,系统每天校验是否存在异常订单
-
系统流程图
代码如下:
while(存在未对账订单){
// 1.查询未对账订单
pos = getPOrders();
// 2.查询派送单
dos = getDOrders();
// 3.执行对账操作
diff = check(pos, dos);
// 4.差异写入差异库
save(diff);
}
考虑并行?
系统目前由于订单、派送单量大,所以getPOrders()和getDOrders()很慢,由于目前对账系统是单线程处理,所以优化性能,首选能否利用多线程。
所以,很容易看出系统瓶颈:getPOrders()和getDOrders()是否可并行?
当然。因为这俩操作并无先后顺序。可以让这俩最耗时的操作并行。
如何用代码实现呢?
创建俩线程t1、t2,并行执行getPOrders()、getDOrders()。
主线程需等待t1、t2执行完,才执行check()、save(),所以要调用
t1.join()、t2.join()实现等待,当t1、t2退出时,调用t1.join()、t2.join()的主线程就会从阻塞态被唤醒,开始执行check()、save()。
while(存在未对账订单){
// 查询未对账订单
Thread T1 = new Thread(()->{
pos = getPOrders();
});
T1.start();
// 查询派送单
Thread T2 = new Thread(()->{
dos = getDOrders();
});
T2.start();
// 等待T1、T2结束
T1.join();
T2.join();
// 执行对账操作
diff = check(pos, dos);
// 差异写入差异库
save(diff);
}
这样优化就够了?
while循环每次都会创建新线程,而创建线程是个重量级操作。最好能复用线程,使用线程池吧!
但有个问题
主线程如何知道getPOrders()、getDOrders()何时执行完?
前面主线程通过调用t1、t2的join()等待t1、t2的退出,但在线程池方案中,线程根本就不会退出,所以join()方法也就失效了。
// 创建2个线程的线程池
Executor executor = Executors.newFixedThreadPool(2);
while(存在未对账订单){
// 查询未对账订单
executor.execute(()-> {
pos = getPOrders();
});
// 查询派送单
executor.execute(()-> {
dos = getDOrders();
});
/* 等待 */
// 执行对账操作
diff = check(pos, dos);
// 差异写入差异库
save(diff);
}
如何解决呢?最直接的就是弄个计数器,初始值置2,当执行完
pos = getPOrders();
后,计数器-1。
执行完
dos = getDOrders();
后,也计数器-1。
在主线程,等待计数器0,这时说明这俩操作都执行完了。
而等待计数器0,就是一个条件变量,用管程实现就很简单。
还好JUC已经帮我们写好了这套逻辑:CountDownLatch。
使用代码如下:
Executor executor = Executors.newFixedThreadPool(2);
while(存在未对账订单){
// 计数器值,初始为2
CountDownLatch latch = new CountDownLatch(2);
executor.execute(()-> {
pos = getPOrders();
// 计数器-1
latch.countDown();
});
executor.execute(()-> {
dos = getDOrders();
// 计数器-1
latch.countDown();
});
// 等待两个查询操作结束(计数器 == 0)
latch.await();
diff = check(pos, dos);
save(diff);
}
还能再优化吗?毕竟程序员的追求是永无止境的。
我们已经将两个查询并行了,但这俩查询和check()、save()之间还是串行。
显然,这俩查询操作和对账操作也可以并行,即在执行对账操作时,可以同时去执行下一轮的查询:
- 完全并行运行性能
这到底是怎么做到的呢?
两次查询操作能够和对账操作并行,对账操作还依赖查询操作的结果,有点生产者-消费者的味道了,俩查询是生产者,对账是消费者。
生产者-消费者模型,那就得有个队列,保存生产者生产的数据,而消费者从队列中消费数据。
针对对账项目,可以设计两个队列,并且两个队列的元素之间还有对应关系:
-
订单查询,将订单查询结果插入订单队列
-
派送单查询,将派送单插入派送单队列
这俩队列的元素之间一一对应。
- 双队列
为啥设计为两个队列呢?
对账操作每次从订单队列、派单队列各取出一个元素,然后对这俩元素执行对账,数据一定不会乱掉。
如何用双队列实现完全并行呢?
最简单的设计:
-
t1执行订单查询,t2执行派单查询
-
当t1、t2都各自生产完1条数据时,通知t3执行对账
看上去想法很简单,但其实还需要t1、t2工作步调一致,不能一个跑太快,一个跑太慢,只有这样才能做到各自生产完一条数据时,通知t3。
所以难点是:t1、t2只有都生产完一条数据时,才能一起向下执行,即t1、t2要互相等待,步调一致。
当t1、t2都生产完一条数据时,还要通知t3执行对账。
- 同步执行示意图
这又该如何用代码实现呢?
你依然可以利用一个计数器解决刚才说的难点,计数器初始为2,t1、t2生产完一条数据都将计数器-1。
若计数器:
-
>0,则t1或t2等待
-
== 0,则通知t3,并唤醒等待的t1或t2,同时,将计数器重置为2,这样t1、t2生产下一条数据时,就可以继续使用该计数器
JUC已经提供这种场景的工具类:CyclicBarrier。
线程T1负责查询订单,当查出一条时,调用 barrier.await() 来将计数器减1,同时等待计数器变成0;线程T2负责查询派送单,当查出一条时,也调用 barrier.await() 来将计数器减1,同时等待计数器变成0;当T1和T2都调用 barrier.await() 的时候,计数器会减到0,此时T1和T2就可以执行下一条语句了,同时会调用barrier的回调函数来执行对账操作。
非常值得一提的是,CyclicBarrier的计数器有自动重置的功能,当减到0的时候,会自动重置你设置的初始值。这个功能用起来实在是太方便了。
// 订单队列
Vector
pos;
// 派送单队列
Vector dos;
Executor executor = Executors.newFixedThreadPool(1);
// 当计数器减至0,调用回调方法
final CyclicBarrier barrier = new CyclicBarrier(2, ()->{
executor.execute(()->check());
});
void check(){
P p = pos.remove(0);
D d = dos.remove(0);
diff = check(p, d);
save(diff);
}
void checkAll(){
// 循环查询订单库
Thread T1 = new Thread(()->{
while(存在未对账订单){
// 查询订单库
pos.add(getPOrders());
// 等待
barrier.await();
}
});
T1.start();
// 循环查询运单库
Thread T2 = new Thread(()->{
while(存在未对账订单){
// 查询运单库
dos.add(getDOrders());
// 等待
barrier.await();
}
});
T2.start();
}
注
意这里设置线程池为单个线程,可以保证对账的操作按顺序执行。如果设置为多个,有可能会两个线程 A、B 同时查询,A 的订单先返回,B 的派送单先返回,造成队列中的数据不匹配。所以1个线程实现生产数据串行执行,保证数据安全。
=================================================================
- CountDownLatch
主要用来解决一个线程等待多个线程的场景。
CountDownLatch的计数器是不能复用。一旦计数器减至0,再有线程调用await(),该线程会直接通过。
- CyclicBarrier
一组线程之间互相等待。CyclicBarrier的计数器是可复用的,可自动重置,一旦计数器减至0,会自动重置到你设置的初始值。
CyclicBarrier还可设置回调方法。
最后
小编这些年深知大多数初中级工程师,想要提升自己,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。
因此我收集整理了一份《2024年Java全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你需要这些资料,⬅专栏获取
。一旦计数器减至0,再有线程调用await(),该线程会直接通过。
- CyclicBarrier
一组线程之间互相等待。CyclicBarrier的计数器是可复用的,可自动重置,一旦计数器减至0,会自动重置到你设置的初始值。
CyclicBarrier还可设置回调方法。
最后
小编这些年深知大多数初中级工程师,想要提升自己,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。
因此我收集整理了一份《2024年Java全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
[外链图片转存中…(img-ZGOszmX7-1719680547220)]
[外链图片转存中…(img-1cNCGvDa-1719680547221)]
[外链图片转存中…(img-eYg9aaWK-1719680547221)]
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你需要这些资料,⬅专栏获取