思考一个问题,分布式环境,网络不稳定.
a台broker上有messageQueue,b台queue.
a,b都会随着网络不稳定而变动,你如何分配,并且保证messageQueue都被分配出去.
rocketMq实现: 客户端实现负载均衡,每个人的算法都一样. (源自于大家都从zk上获取, topic总messageQueue和consumers )
然后平均分配. 有可能因为某些原因,得到的数据不一致,会发生并发抢占.这点对于非orderConsumer来说, 不锁., 对于orderConsumer来说,要锁,对于通过broker的锁控制.
并发消费:
DefaultMQPushConsumerImpl.java{
pullMessage(PullRequest){
if (processQueue.isDropped()) {
log.info("the pull request[{}] is droped.", pullRequest.toString());
return;
}
}
理论上 pullConsumer也要有这个判断.
orderlyService和concurrentlyService也是有调用这个processQueue.isDropped()
对于orderlyConsumer来说,还多了一个并发锁,即
public static final int LOCK_BATCH_MQ = 41;
// Broker Consumer向Master解锁队列
public static final int UNLOCK_BATCH_MQ = 42;
两点使用:
1.执行某个quque时尝试锁该queue,但是利用了本地缓存锁processQueue,(异步调用远程broker更新本地锁,避免了大量调用等待.) 修改消费者的lprocessQueue. Locked
2.定时任务获取所有当前queue的锁.(本地processQueue时由reBalance分配的)
orderService执行consumeRequest时进行锁判断,processQueue.isLocked() 锁失败无法进行消费.
参考文献: http://blog.csdn.net/quhongwei_zhanqiu/article/details/39142693
RocketMQ原理解析-consumer 2.消费端负载均衡
我的实现:
非顺序执行缺少queue的加锁, broker获取所有的该queue对应的topic的消费者(从zk上获取),然后通知queue来获取数据或者推送.同时保证queue被一个人消费.加锁.