V-xin:ruyuanhadeng获得600+页原创精品文章汇总PDF
一、前情提示
上一篇文章《高并发+海量数据下如何实现系统解耦?【中】》分析了一下如何利用消息中间件对系统进行解耦处理。
同时,我们也提到了使用消息中间件还有利于一份数据被多个系统同时订阅,供多个系统来使用于不同的目的。
目前的一个架构如下图所示。
在这个图里,我们可以清晰的看到,实时计算平台发布的一份数据到消息中间件里,接着,会进行如下步骤:
- 数据查询平台会订阅这份数据,并落入自己本地的数据库集群和缓存集群里,接着对外提供数据查询的服务
- 数据质量监控系统会对计算结果按照一定的业务规则进行监控,如果发现有数据计算错误,则会立马进行报警
- 数据链路追踪系统会采集计算结果作为一个链路节点,同时对一条数据的整个完整计算链路都进行采集并组装出来一系列的数据计算链路落地存储,最后如果某个数据计算错误了,就可以立马通过计算链路进行回溯排查问题
因此上述场景中,使用消息中间件一来可以解耦,二来还可以实现消息“Pub/Sub”模型,实现消息的发布与订阅。
这篇文章,咱们就来看看,假如说基于RabbitMQ作为消息中间件,如何实现一份数据被多个系统同时订阅的“Pub/Sub”模型。
二、基于消息中间件的队列消费模型
上面那个图,其实就是采用的RabbitMQ最基本的队列消费模型的支持。
也就是说,你可以理解为RabbitMQ内部有一个队列,生产者不断的发送数据到队列里,