Mark : BlockingQueue在任务调度中的精彩应用

标签: 消息队列
3人阅读 评论(0) 收藏 举报
分类:

https://blog.csdn.net/bluishglc/article/details/78447813

问题来了…

我们正在构建的系统需要从外部第三方系统中采集数据,受不可控的外部环境的影响,我们的数据采集工作经常被阻塞,一种典型的情况是:某个目标数据库因为要同时处理多个外围系统叠加的查询请求而经常响应缓慢,从而导致我们的Job严重超时,而这个Job原有的设计是每5分钟执行一次,每次执行时会从目标数据库中查询最近5分钟内的数据,通常情况下这种简单的设计没有问题,但是当前一个Job严重超时时,后续启动的Job仍然以启动时的前5分钟作为时间窗口进行查询,就会导致数据丢失。

异步执行?

一个简单的解决方案是将Job的执行变为异步非阻塞模式,每一个Job被触发时都在一个独立的线程中运行。但是这个方案不适用于我们的系统,原因是这样采集的数据无法保证按时间有序,而确保数据按时间有序对我们的系统至关重要。所以这一方案被否决。

最佳方案!

经过仔细的思考,我们认为必须要将这个Job切分成两个子的Job:第一个Job负责制定周期性的计划,准确地说是周期性地生成查询的时间参数,第二个Job则负责读取时间参数执行查询,这一部分的工作并不是周期性的,原则上,只要有时间参数生成就应该立即执行,如果执行超时,在超时期间,我们需要缓存第一个Job生成的时间参数,而当所有的查询都及时完成没有Pending的查询计划时,第二个Job需要等待新的查询参数到达。到这里事情已经变得很明朗了,我们实际上设计的是一个生产者-消费者模型,只是生产者在“有节奏”的生产,那么在这个模式里,作为第三个参与者:仓库,或者说传送带,就是起最关键作用的,而BlockingQueue就是一个现成的完美实现,于是落地的方案就是:

  1. 第一个Job由定时器周期性触发,每次触发时会把当前时间写入到一个BlockingQueue的队尾。

  2. 第二个Job循环执行,每次执行的工作就是从BlockingQueue的队头取出时间参数,组装SQL并执行。

    2.1. 当队列为空时,由BlockingQueue来Pending当前线程,等待时间参数进入队列。

  3. 当第二个Job执行完一次时,如果队列中还有时间参数,会立即执行第二次,发生此类情况时就说明前一次的执行超过了5分钟。


查看评论

BlockingQueue在任务调度中的精彩应用

问题来了…我们正在构建的系统需要从外部第三方系统中采集数据,受不可控的外部环境的影响,我们的数据采集工作经常被阻塞,一种典型的情况是:某个目标数据库因为要同时处理多个外围系统叠加的查询请求而经常响应缓...
  • bluishglc
  • bluishglc
  • 2017-11-05 10:04:38
  • 887

BlockingQueue的原理及使用方法

前言: 在新增的Concurrent包中,BlockingQueue很好的解决了多线程中,如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类,为我们快速搭建高质量的多线程程序带来极大...
  • Yolanda_NuoNuo
  • Yolanda_NuoNuo
  • 2017-04-10 16:50:52
  • 2481

BlockingQueue的原理浅析及其在项目中的应用

(一)BlockingQueue的原理1. 什么是BlockingQueue? 阻塞队列(BlockingQueue)是一个支持两个附加操作的队列。这两个附加的操作是:在队列为空时,获取元素...
  • SmuEdward
  • SmuEdward
  • 2017-01-16 16:02:53
  • 2338

java并发包消息队列及在开源软件中的应用-BlockingQueue

BlockingQueue也是java.util.concurrent下的主要用来控制线程同步的工具。 主要的方法是:put、take一对阻塞存取;add、poll一对非阻塞存取。 ...
  • e891377
  • e891377
  • 2017-04-27 15:06:46
  • 379

Mark :BlockingQueue

https://blog.csdn.net/smuedward/article/details/54574938(一)BlockingQueue的原理1. 什么是BlockingQueue? 阻塞队列...
  • tianyeshiye
  • tianyeshiye
  • 2018-04-16 21:21:54
  • 3

【Java并发之】BlockingQueue

本文主要讲的是并发包中涉及到的集合,关于普通集合,请参考【java 集合概览】一、什么是BlockingQueueBlockingQueue即阻塞队列,从阻塞这个词可以看出,在某些情况下对阻塞队列的访...
  • suifeng3051
  • suifeng3051
  • 2015-10-23 11:50:31
  • 23229

C++11 线程安全的BlockingQueue实现

C++11 BlockingQueue
  • big_yellow_duck
  • big_yellow_duck
  • 2016-09-20 22:53:22
  • 903

20-BlockingQueue应用

一、主要内容 BlockingQueue提高程序效率。 二、代码 import java.util.concurrent.ArrayBlockingQueue; import jav...
  • wl101yjx
  • wl101yjx
  • 2015-03-31 05:53:27
  • 418

BlockingQueue的核心方法

BlockingQueue的核心方法: 1.     放入数据: 1)    offer(anObject):表示如果可能的话,将anObject加到BlockingQueue里,即如果Blockin...
  • dfsaggsd
  • dfsaggsd
  • 2016-01-25 15:40:13
  • 1666

Java中的BlockingQueue系列

一、BlockingQueue BlockingQueue是java.util.concurrent包下的一个接口,它是一个线程安全的队列,所以它最典型的用途就是生产者-消费者模式。 生产线程...
  • hp910315
  • hp910315
  • 2016-08-20 12:04:11
  • 793
    个人资料
    等级:
    访问量: 1276
    积分: 256
    排名: 30万+
    博客专栏
    最新评论