rocketmq 消费者负载均衡-分布式下的messageQueue的分配和锁定

思考一个问题,分布式环境,网络不稳定.

a台broker上有messageQueue,b台queue.

a,b都会随着网络不稳定而变动,你如何分配,并且保证messageQueue都被分配出去.

rocketMq实现: 客户端实现负载均衡,每个人的算法都一样. (源自于大家都从zk上获取, topic总messageQueue和consumers )

然后平均分配. 有可能因为某些原因,得到的数据不一致,会发生并发抢占.这点对于非orderConsumer来说, 不锁., 对于orderConsumer来说,要锁,对于通过broker的锁控制.

 

并发消费:

DefaultMQPushConsumerImpl.java{

pullMessage(PullRequest){

    if (processQueue.isDropped()) {
            log.info("the pull request[{}] is droped.", pullRequest.toString());
            return;
     }

}

理论上 pullConsumer也要有这个判断.

orderlyService和concurrentlyService也是有调用这个processQueue.isDropped()

对于orderlyConsumer来说,还多了一个并发锁,即

public static final int LOCK_BATCH_MQ = 41;
    // Broker Consumer向Master解锁队列
    public static final int UNLOCK_BATCH_MQ = 42;

两点使用:

1.执行某个quque时尝试锁该queue,但是利用了本地缓存锁processQueue,(异步调用远程broker更新本地锁,避免了大量调用等待.) 修改消费者的lprocessQueue.  Locked

2.定时任务获取所有当前queue的锁.(本地processQueue时由reBalance分配的)

orderService执行consumeRequest时进行锁判断,processQueue.isLocked() 锁失败无法进行消费.

参考文献: http://blog.csdn.net/quhongwei_zhanqiu/article/details/39142693 

RocketMQ原理解析-consumer 2.消费端负载均衡

我的实现:

非顺序执行缺少queue的加锁, broker获取所有的该queue对应的topic的消费者(从zk上获取),然后通知queue来获取数据或者推送.同时保证queue被一个人消费.加锁.