rocketMQ学习笔记

RocketMq背景&选型

MQ背景&选型 消息队列作为⾼并发系统的核⼼组件之⼀，能够帮助业务系统解构提升开发效率和系统稳定性。主要具有以下优势：

1. 削峰填谷（主要解决瞬时写入的压力大于服务器解决问题导致消息丢失的问题）
2. 系统解耦（降低系统服务之间的耦合程度，防止一个服务宕机导致多个系统服务的宕机）
3. 提升性能（当存在⼀对多调⽤时，可以发⼀条消息给消息系统，让消息系统通知相关系统）

目前主流的MQ主要是Rocketmq、kafka、Rabbitmq，Rocketmq相⽐于Rabbitmq、kafka具有主要优势特性有：

1. 支持事务消息
2. 结合rocketMq可以实现最终一致性分布式解决方案
3. 可以重复消费
4. 支持延迟消费
5. 支持消费方通过tag来过滤消息，减少不必要的io传输
6. 支持指定次数的消息重发和间隔

RockeMq介绍

Name Server

用来保存Broker相关Topic等元信息并给Producer，提供Consumer查找Broker信息。

Broker

1. Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的Broker id，不同的Broker Id来定义，BrokerId为0表示Master，⾮0表示Slave。
2. 每个Broker与Name Server集群中的所有节点建立长连接，定时(每隔30s)注册Topic信息到所有NameServer。Name Server定时(每隔10s)扫描所有存活broker的连接，如果Name Server超过2分钟没有收到心跳，则Name Server断开与Broker的连接。

Producer

1. Producer与Name Server集群中的其中一个节点(随机选择)建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署
2. Producer每隔30s（由ClientConfifig的pollNameServerInterval）从Name server获取所有topic队列的最新情况，这意味着如果Broker不可用，Producer最多30s能够感知，在此期间内发往Broker的所有消息都会失败。
3. Producer每隔30s（由ClientConfifig中heartbeatBrokerInterval决定）向所有关联的broker发送心跳，Broker每隔10s中扫描所有存活的连接，如果Broker在2分钟内没有收到心跳数据，则关闭与Producer的连接

Consumer

1. Consumer与Name Server集群中的其中一个节点(随机选择)建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master、Slave建力长连接，且定时向Master、Slave发送⼼跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。Consumer每隔30s从Name server获取topic的最新队列情况，这意味着Broker不可用时，Consumer最多最需要30s才能感知。
2. Consumer每隔30s（由ClientConfifig中heartbeatBrokerInterval决定）向所有关联的broker发送心跳，Broker每隔10s扫描所有存活的连接，若某个连接2分钟内没有发送心跳数据，则关闭连接；并向该Consumer Group的所有Consumer发出通知，Group内的Consumer重新分配队列，然后继续消费。当Consumer得到master宕机通知后，转向slave消费，slave不能保证master的消息100%都同步过来了，因此会有少量的消息丢失。但是⼀旦master恢复，未同步过去的消息会被最终消费掉。