RocketMQ(二)

RocketMQ是阿里巴巴在2016年发布的消息中间件，使用java语言进行开发，在阿里内部，RocketMQ承接了双11等高并发场景的消息流转，能够处理万亿级别的消息。

消费者：消费者也称为消息订阅者，负责从Topic接受并消费消息。消费者从broker哪里拉取消息并将消息输入应用程序。

消费者组：一类消费者的集合名称，这类消费者通常消费同一类消息，消费逻辑一致，所以将这些消费者分组在一起，消费者组与生产者组类似，都是将相同角色的分组在一起命名。

rocketmq中的消息有一个特点就是同一条消息只能被某一个消费者组中的一台机器消费，但是可以被不同的消费者组消费。为了实现高可用的保证，消费者与nameserver集群中的其中一个节点建立长连接，定期从nameserver拉去路由信息，并且跟master   slave建立长连接，

rocketmq的交互过程：

①nameserver首先启动

②broker启动时向nameserver注册

③生产者在发送某个主题的消息之前先从nameserver获取broker的地址列表，然后根据负载均衡算法选择一台broker进行消息的发送

④nameserver与每台broker服务器保持长连接，如果发现宕机，及时从路由表中将其移除。

⑤消费者在订阅每个主题的消息之前先从nameserver获取broker的地址列表，然后订阅消息。

消息：就是要传送的信息，一条消息必须有一个主题，主题可以看做你的信件要邮寄的地址，一条消息可以有多个标签，也可以有额外的键值对，这些信息可以用于设置一个业务key并在broker上查找此类消息。

主题：

看做消息的归类，一条消息必须有一个主题

标签：可以看做主题的子主题，他是消息的第二类型，用于为用户提供额外的灵活性，使用标签，统一业务模块不同目的消息就可以用相同主题不同tag来表示。

消息队列：主题被划分为多个或一个子主题，即消息队列，一个主题可以设置多个消息队列，发送消息时执行该消息的主题，发送消息时执行该消息的主题，。

消息消费模式：集群消费，广播消费。

消息顺序：顺序消费表示消息消费的顺序和生产者为每个消息队列发送消息时候的顺序一致，所以如果正在处理全局顺序是强制性的场景，需要确保使用的主题只有一个消息队列。

并行消费不在保证消息的顺序，消费的最大并行数量收到每个消费者客户端指定的线程池的限制。

刷盘机制：RocketMQ的消息是存储到磁盘上的，这样既能保证断电后回复，又可以让存储的消息量超出内存的限制，为了提高性能，rocketmq会尽可能的保证磁盘的顺序写，消息在通过producer写入mq的时候，有两种刷盘方式，分布式同步刷盘，异步刷盘，同步刷盘是指在返回写成功状态时，消息已经被写入磁盘了，具体流程是，消息写入内存后，立刻通知刷盘线程刷盘，然后等待刷盘完成，刷盘线程执行完成后唤醒等待的线程，返回消息写成功的状态。

异步刷盘是在返回写成功状态时，消息可能只是被写入了内存，写操作的返回块，吞吐量大，当内存里的消息积累到一定程度的时候，统一触发写磁盘操作，快速写入。

零拷贝：Linux系统分为用户态和和心内核态，文件操作，网络操作都需要设计这两种形态的切换，免不了进行数据复制，

负载均衡，每个实例在发送消息的时候，默认会轮训所有的队列进行发送，达到让消息平均落在不同的队列上，而由于队列可以范散在不同的broker上，所以消息就发送到不同的broker。在集群模式下，每个订阅这个主题的消费者组都会受到消息，每条消息都会被一个消费者组中的一个实例消费。rocketmq采用主动拉去的方式拉去消息并消费。而当实例数量有变化的时候，都会触发一次负载均衡，这时候会按照队列的数量和实例的数量进行平均分配。

死信特性：死信消息具有下列特性，首先就是不会再被消费者正常消费，其次就是有效期与正常消息相同，都是3天，3天后会被删除。

死信队列有一下特性：一个死信队列对应一个群组id，而不是对应单个消费实力，如果一个群组id没有产生死信消息，则rocketmq不会为其建立死信队列，一个死信队列包含了对应组id的所有的死信消息，不论该消息属于哪一个主题。

消费幂等：

在互联网应用中，尤其在网络不稳定的情况下，消息队列 RocketMQ 的消息有可能会出现重复，这个重复简单可以概括为以下情况：

    发送时消息重复

    当一条消息已被成功发送到服务端并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时生产者意识到消息发送失败并尝试再次发送消息，消费者后续会收到两条内容相同并且 Message ID 也相同的消息。

    投递时消息重复

    消息消费的场景下，消息已投递到消费者并完成业务处理，当客户端给服务端反馈应答的时候网络闪断。 为了保证消息至少被消费一次，消息队列 RocketMQ 的服务端将在网络恢复后再次尝试投递之前已被处理过的消息，消费者后续会收到两条内容相同并且 Message ID 也相同的消息。

    负载均衡时消息重复（包括但不限于网络抖动、Broker 重启以及订阅方应用重启）

    当消息队列 RocketMQ 的 Broker 或客户端重启、扩容或缩容时，会触发 Rebalance，此时消费者可能会收到重复消息。