我用多线程进一步优化了亿级流量电商业务下的海量数据校对系统,性能再次提升了200%!!(全程干货(1)

最后

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

在这里插入图片描述

通过仔细的分析,我们就会发现:虽然getHasNoOrders()getHasNoStock()这两个方法实现了并行操作,但是getHasNoOrders()方法和getHasNoStock()方法和checkData()方法与saveCheckResult()方法之间还是串行的,如果能够让他们之间的操作并行化,那么系统的性能就可以得到进一步提升了。如下图所示。

在这里插入图片描述

如何实现上图所示的优化呢?接下来,我们先说说进一步优化的总体思路。

进一步优化思路


查询未校对的订单方法getHasNoOrders()和查询未校对的库存方法getHasNoStock()能够并行执行,校对数据的方法 checkData()还要依赖getHasNoOrders()方法和getHasNoStock()方法的结果,很明显可以使用CompletableFuture来优化,那除了CompletableFuture还有其他的方式吗?今天,我们先不讲CompletableFuture,先来看看其他的优化方式。

大家认真思考下,上述的场景中,一个方法的执行需要等待另外两个方法的执行结果,是不是有点生产者-消费者的意思呢?

有些小伙伴可能会说:这哪是生产者和消费者模型啊?我们仔细想一下:两次查询未校对的数据就是生产者,校对数据的操作是消费者。

我们可以使用队列来保存生产者生产的数据,而消费者就从这个队列中消费数据。

由于查询未校对的订单方法getHasNoOrders()和查询未校对的库存方法getHasNoStock()是在两个不同的线程中执行的,这里,在具体实现时,我们可以使用两个队列分别保存未校对的订单数据和未校对的库存数据,校对数据的操作每次从队列1中取出未校对的订单数据,从队列2中取出未校对的库存数据,然后再执行数据的校对操作。

在这里插入图片描述

接下来,我们再思考一个问题:就是如何使用两个队列实现完全的并行化。

一个简单的方案就是在线程1中执行查询未校对订单的数据,在线程2中执行查询未校对库存的数据,当线程1和线程2分别生产完一条数据时,通知线程3执行数据的校对操作。这里,有个关键的点就是线程1和线程2的执行步调要一致,不能一个线程执行的太快,一个线程执行的太慢。

很显然,线程1和线程2之间会存在相互等待的现象,说到这里,小伙伴们是不是就有解决方案啦?

我们先来说说优化的总体思路吧: 首先,进一步优化存在两个难点:一个是线程1和线程2执行的步调要一致,另外就是线程1和线程2中每次方法执行完毕后,要通知线程3执行数据校对操作。

我们也可以使用计数器的方式实现,计数器的初始值为2,线程1执行完getHasNoOrders()方法时,对计数器减1,线程2执行完getHasNoStock()方法时,对计数器减1。如果计数器的值大于0时,则线程1等待或者线程2等待。如果计数器的值等于0,则通知线程3执行数据校对操作,并重新唤醒等待中的线程1或者线程2。同时,需要我们将计数器的值重新设置为2,以此往复实现程序的优化效果。

有小伙伴可能会说:这也太麻烦了吧!哈哈,自己实现确实挺麻烦的,不过Java并发类库中为我们准备好了一个实现上述场景的类——没错,可以使用Java并发类库中的 CyclicBarrier 类实现。

使用CyclicBarrier进一步优化


使用CyclicBarrier进一步优化的具体方案就是:首先创建一个计数器初始值为2的CyclicBarrier对象,在构造方法中传入一个回调函数,在回调函数中执行数据的校对操作,当计数器的值减为0时,就会执行这个回调函数。

在线程1中执行完getHasNoOrders()方法并将结果放入队列1后,执行barrier.await()将计数器减1,同时等待计数器的值减为0。在线程2中执行完getHasNoStock()方法并将结果放入队列2后,执行barrier.await()将计数器减1,同时等待计数器的值减为0。

当计数器的值减为0时,线程1和线程2继续向下执行,同时会调用回调函数来执行数据的校对操作。

不仅如此,CyclicBarrier类还能够自动重置计数器的值,当计数器的值减为0时,它又会被自动重置为初始值,这个功能使用起来也很方便。

接下来,我们看一下使用CyclicBarrier类优化后的核心伪代码,如下所示。

// 订单队列

Vector orderQueue;

// 库存队列

Vector stockQueue;

//创建查询未校对订单和未校对库存的线程池

Executor executor = Executors.newFixedThreadPool(2);

//执行数据校对的线程池

Executor checkExecutor = Executors.newFixedThreadPool(1);

final CyclicBarrier barrier =

new CyclicBarrier(2, ()->{

executor.execute(() -> checkDataAndSaveResult());

});

void checkDataAndSaveResult(){

Order o = orderQueue.remove(0);

Stock s = stockQueue.remove(0);

//校对数据并返回结果

checkResult = checkData(o, a);

//将结果信息保存到数据校对信息表中

saveCheckResult(checkResult);

}

void checkAllOrdersAndStock(){

//检测是否存在未对账订单

checkOrders = checkOrders();

while(checkOrders != null){

executor.execute(()->{

//查询未校对的订单信息

hasNoOrders = getHasNoOrders();

orderQueue.add(hasNoOrders);

barrier.await();

});

executor.execute(()->{

//查询未校对的库存记录

hasNoStock = getHasNoStock();

stockQueue.add(hasNoStock);

barrier.await();

});

}

}

至此,整个程序的优化操作就完成了。

总结

三个工作日收到了offer,头条面试体验还是很棒的,这次的头条面试好像每面技术都问了我算法,然后就是中间件、MySQL、Redis、Kafka、网络等等。

  • 第一个是算法

关于算法,我觉得最好的是刷题,作死的刷的,多做多练习,加上自己的理解,还是比较容易拿下的。

而且,我貌似是将《算法刷题LeetCode中文版》、《算法的乐趣》大概都过了一遍,尤其是这本

《算法刷题LeetCode中文版》总共有15个章节:编程技巧、线性表、字符串、栈和队列、树、排序、查找、暴力枚举法、广度优先搜索、深度优先搜索、分治法、贪心法、动态规划、图、细节实现题

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

《算法的乐趣》共有23个章节:

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

  • 第二个是Redis、MySQL、kafka(给大家看下我都有哪些复习笔记)

基本上都是面试真题解析、笔记和学习大纲图,感觉复习也就需要这些吧(个人意见)

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

  • 第三个是网络(给大家看一本我之前得到的《JAVA核心知识整理》包括30个章节分类,这本283页的JAVA核心知识整理还是很不错的,一次性总结了30个分享的大知识点)

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

-1715544001179)]

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

  • 12
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值