【RocketMq系列】高可用

以下内容涉及到broker宕机、consumer宕机后,RocketMq的一系列动作

【broker宕机】

broker的高可用处理流程

  • broker宕机后心跳包(实际上是给namesrv发注册消息)停止
  • namesrv发现broker2分钟没有心跳,就移除该broker相关信息
  • client每隔30秒从namesrv拉取最新的topic路由信息
  • client的清理线程会比较topic的最新路由信息是否移除部分broker,做相应的移除操作
  • client在下次拉取消息时,从路由表里找不到master机的地址,就会取slave主机地址
  • 若broker主从采用异步同步是有可能丢消息的

【consumer宕机】

consumer的高可用处理流程

  • consumer宕机后心跳包(实际上是给broker发订阅消息)停止
  • broker发现consumer2分钟没有心跳,就移除该consumer并关闭连接
  • broker关闭连接时会通知其他所有consumer,消费者发生变动,需要重新负载
  • 其他consumer接到变动消息后,随机选择一个broker拉取最新的消费者列表,然后重新做负载
  • 若负载发生变化,则在拉取消息的请求队列里,插入新的拉取请求,并把原来的请求状态置为drop

RocketMq为了简化消息队列的offset处理,限制一个消息队列只能被一个consumer消费,而一个consumer可以消费0到n个消息队列,所以在consumer宕机时,需要迅速通知所有的consumer重新计算负载,才能把宕机的这台consumer负责的消息队列负载到其他consumer上

转载于:https://my.oschina.net/u/3026036/blog/3006425

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ是一个开源的分布式消息中间件,具有高吞吐量、高可用性和可伸缩性的特点。它是由阿里巴巴集团开发和维护的,被广泛应用于大规模分布式系统中。 在实战中,使用RocketMQ可以实现消息的可靠传输和异步通信,适用于各种场景,如订单处理、日志收集、实时数据同步等。以下是一些RocketMQ的实战应用场景和操作步骤: 1. 安装和配置RocketMQ:首先需要下载和安装RocketMQ,然后进行相关的配置,包括名称服务器(NameServer)和消息代理(Broker)的配置。 2. 创建Topic和Producer:在RocketMQ中,消息通过Topic进行分类,Producer负责发送消息到指定的Topic。可以使用命令行工具或者编程方式创建Topic和Producer。 3. 创建Consumer和订阅Topic:Consumer负责订阅指定的Topic,并处理接收到的消息。可以使用命令行工具或者编程方式创建Consumer,并订阅感兴趣的Topic。 4. 发送和接收消息:通过Producer发送消息到指定的Topic,Consumer订阅该Topic并接收消息进行处理。可以使用RocketMQ提供的API进行消息的发送和接收操作。 5. 实现消息的可靠性传输:RocketMQ可以保证消息的可靠性传输,即使在发送或接收过程中出现异常,也能够保证消息不丢失。可以通过配置参数和使用事务消息等方式来实现可靠性传输。 6. 监控和管理RocketMQRocketMQ提供了一系列的监控和管理工具,可以对消息的发送和接收进行监控,以及管理Topic和Consumer等。 以上是RocketMQ的简单实战应用场景和操作步骤,希望对你有所帮助。详细的使用方法和更多高级功能可以参考RocketMQ的官方文档和示例代码。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值