和学妹深入探讨CountDownLatch和CyclicBarrier的设计哲学

最近监控发现系统越来越慢,学妹被她公司领导逼急了,询问我能优化一下性能吗。我看了下业务:

  • 用户在app下单,生成电子订单,保存在订单库

  • 物流生成派送单给用户发货,派送单保存在派送单库

  • 为避免漏派、重复派,系统每天校验是否存在异常订单

  • 系统流程图

代码如下:

while(存在未对账订单){

// 1.查询未对账订单

pos = getPOrders();

// 2.查询派送单

dos = getDOrders();

// 3.执行对账操作

diff = check(pos, dos);

// 4.差异写入差异库

save(diff);

}

考虑并行?

系统目前由于订单、派送单量大,所以getPOrders()和getDOrders()很慢,由于目前对账系统是单线程处理,所以优化性能,首选能否利用多线程。

所以,很容易看出系统瓶颈:getPOrders()和getDOrders()是否可并行?

当然。因为这俩操作并无先后顺序。可以让这俩最耗时的操作并行。

如何用代码实现呢?

创建俩线程t1、t2,并行执行getPOrders()、getDOrders()。

主线程需等待t1、t2执行完,才执行check()、save(),所以要调用

t1.join()、t2.join()实现等待,当t1、t2退出时,调用t1.join()、t2.join()的主线程就会从阻塞态被唤醒,开始执行check()、save()。

while(存在未对账订单){

// 查询未对账订单

Thread T1 = new Thread(()->{

pos = getPOrders();

});

T1.start();

// 查询派送单

Thread T2 = new Thread(()->{

dos = getDOrders();

});

T2.start();

// 等待T1、T2结束

T1.join();

T2.join();

// 执行对账操作

diff = check(pos, dos);

// 差异写入差异库

save(diff);

}

这样优化就够了?

while循环每次都会创建新线程,而创建线程是个重量级操作。最好能复用线程,使用线程池吧!

但有个问题

主线程如何知道getPOrders()、getDOrders()何时执行完?

前面主线程通过调用t1、t2的join()等待t1、t2的退出,但在线程池方案中,线程根本就不会退出,所以join()方法也就失效了。

// 创建2个线程的线程池

Executor executor = Executors.newFixedThreadPool(2);

while(存在未对账订单){

// 查询未对账订单

executor.execute(()-> {

pos = getPOrders();

});

// 查询派送单

executor.execute(()-> {

dos = getDOrders();

});

/* 等待 */

// 执行对账操作

diff = check(pos, dos);

// 差异写入差异库

save(diff);

}

如何解决呢?最直接的就是弄个计数器,初始值置2,当执行完

pos = getPOrders();

后,计数器-1。

执行完

dos = getDOrders();

后,也计数器-1。

在主线程,等待计数器0,这时说明这俩操作都执行完了。

而等待计数器0,就是一个条件变量,用管程实现就很简单。

还好JUC已经帮我们写好了这套逻辑:CountDownLatch。

使用代码如下:

Executor executor = Executors.newFixedThreadPool(2);

while(存在未对账订单){

// 计数器值,初始为2

CountDownLatch latch = new CountDownLatch(2);

executor.execute(()-> {

pos = getPOrders();

// 计数器-1

latch.countDown();

});

executor.execute(()-> {

dos = getDOrders();

// 计数器-1

latch.countDown();

});

// 等待两个查询操作结束(计数器 == 0)

latch.await();

diff = check(pos, dos);

save(diff);

}

还能再优化吗?毕竟程序员的追求是永无止境的。

我们已经将两个查询并行了,但这俩查询和check()、save()之间还是串行。

显然,这俩查询操作和对账操作也可以并行,即在执行对账操作时,可以同时去执行下一轮的查询:

  • 完全并行运行性能

这到底是怎么做到的呢?

两次查询操作能够和对账操作并行,对账操作还依赖查询操作的结果,有点生产者-消费者的味道了,俩查询是生产者,对账是消费者。

生产者-消费者模型,那就得有个队列,保存生产者生产的数据,而消费者从队列中消费数据。

针对对账项目,可以设计两个队列,并且两个队列的元素之间还有对应关系:

  • 订单查询,将订单查询结果插入订单队列

  • 派送单查询,将派送单插入派送单队列

这俩队列的元素之间一一对应。

  • 双队列

为啥设计为两个队列呢?

对账操作每次从订单队列、派单队列各取出一个元素,然后对这俩元素执行对账,数据一定不会乱掉。

如何用双队列实现完全并行呢?

最简单的设计:

  • t1执行订单查询,t2执行派单查询

  • 当t1、t2都各自生产完1条数据时,通知t3执行对账

看上去想法很简单,但其实还需要t1、t2工作步调一致,不能一个跑太快,一个跑太慢,只有这样才能做到各自生产完一条数据时,通知t3。

所以难点是:t1、t2只有都生产完一条数据时,才能一起向下执行,即t1、t2要互相等待,步调一致。

当t1、t2都生产完一条数据时,还要通知t3执行对账。

  • 同步执行示意图

这又该如何用代码实现呢?

你依然可以利用一个计数器解决刚才说的难点,计数器初始为2,t1、t2生产完一条数据都将计数器-1。

若计数器:

  • >0,则t1或t2等待

  • == 0,则通知t3,并唤醒等待的t1或t2,同时,将计数器重置为2,这样t1、t2生产下一条数据时,就可以继续使用该计数器

JUC已经提供这种场景的工具类:CyclicBarrier。

线程T1负责查询订单,当查出一条时,调用 barrier.await() 来将计数器减1,同时等待计数器变成0;线程T2负责查询派送单,当查出一条时,也调用 barrier.await() 来将计数器减1,同时等待计数器变成0;当T1和T2都调用 barrier.await() 的时候,计数器会减到0,此时T1和T2就可以执行下一条语句了,同时会调用barrier的回调函数来执行对账操作。

非常值得一提的是,CyclicBarrier的计数器有自动重置的功能,当减到0的时候,会自动重置你设置的初始值。这个功能用起来实在是太方便了。

// 订单队列

Vector

pos;

// 派送单队列

Vector dos;

Executor executor = Executors.newFixedThreadPool(1);

// 当计数器减至0,调用回调方法

final CyclicBarrier barrier = new CyclicBarrier(2, ()->{

executor.execute(()->check());

});

void check(){

P p = pos.remove(0);

D d = dos.remove(0);

diff = check(p, d);

save(diff);

}

void checkAll(){

// 循环查询订单库

Thread T1 = new Thread(()->{

while(存在未对账订单){

// 查询订单库

pos.add(getPOrders());

// 等待

barrier.await();

}

});

T1.start();

// 循环查询运单库

Thread T2 = new Thread(()->{

while(存在未对账订单){

// 查询运单库

dos.add(getDOrders());

// 等待

barrier.await();

}

});

T2.start();

}


意这里设置线程池为单个线程,可以保证对账的操作按顺序执行。如果设置为多个,有可能会两个线程 A、B 同时查询,A 的订单先返回,B 的派送单先返回,造成队列中的数据不匹配。所以1个线程实现生产数据串行执行,保证数据安全。

总结

=================================================================

  • CountDownLatch

主要用来解决一个线程等待多个线程的场景。
CountDownLatch的计数器是不能复用。一旦计数器减至0,再有线程调用await(),该线程会直接通过。

  • CyclicBarrier
    一组线程之间互相等待。CyclicBarrier的计数器是可复用的,可自动重置,一旦计数器减至0,会自动重置到你设置的初始值。
    CyclicBarrier还可设置回调方法。

最后

小编这些年深知大多数初中级工程师,想要提升自己,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。

因此我收集整理了一份《2024年Java全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你需要这些资料,⬅专栏获取
。一旦计数器减至0,再有线程调用await(),该线程会直接通过。

  • CyclicBarrier
    一组线程之间互相等待。CyclicBarrier的计数器是可复用的,可自动重置,一旦计数器减至0,会自动重置到你设置的初始值。
    CyclicBarrier还可设置回调方法。

最后

小编这些年深知大多数初中级工程师,想要提升自己,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。

因此我收集整理了一份《2024年Java全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

[外链图片转存中…(img-ZGOszmX7-1719680547220)]

[外链图片转存中…(img-1cNCGvDa-1719680547221)]

[外链图片转存中…(img-eYg9aaWK-1719680547221)]

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你需要这些资料,⬅专栏获取

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值