RocketMQ 是一个开源的分布式消息中间件,它提供了高性能、高可靠性的消息发布和订阅服务。RocketMQ 支持多种消息模式,包括普通消息、顺序消息、事务消息等。下面将介绍 RocketMQ 的写入流程和读取流程,以及事务消息的处理机制。
写入流程
-
消息生产:客户端(Producer)构建消息对象,并设置消息的属性,如主题(Topic)、标签(Tag)、键(Key)等。
-
序列化:消息对象会被序列化为字节数组,以便在网络中传输和存储。
-
发送消息:客户端将序列化后的消息发送给 Broker(RocketMQ 的消息服务器)。在发送消息时,客户端会先选择一个队列(Queue)进行写入。
-
消息存储:Broker 接收到消息后,会将其写入到本地磁盘的存储文件中。RocketMQ 使用顺序写的方式,将消息追加到文件末尾,以保证写入的高性能。
-
消息刷盘:为了保证消息的持久性,RocketMQ 支持将消息同步(Sync)或异步(Async)地写入磁盘。同步刷盘会等待消息写入磁盘后再返回成功,而异步刷盘会立即返回成功,消息会在后台被写入磁盘。
-
消息索引:为了提高消息的查询效率,RocketMQ 会为消息建立索引,如主题索引、时间索引等。
-
返回确认:当消息成功写入存储并可能已经被索引后,Broker 会向客户端发送写入成功的确认消息。
读取流程
-
订阅消息:客户端(Consumer)通过订阅主题、标签等方式,指定需要消费的消息类型。
-
拉取消息:Consumer 会主动向 Broker 发起拉取(Pull)请求,获取指定队列中的消息。
-
消息过滤:Broker 根据 Consumer 的订阅条件,对队列中的消息进行过滤,只返回符合条件的消息。
-
消息消费:Consumer 接收到消息后,进行业务处理。RocketMQ 支持并行消费,即多个 Consumer 可以同时消费同一个队列中的消息。
-
消费确认:Consumer 处理完消息后,需要向 Broker 发送消费确认(ACK)消息,告知 Broker 该消息已被成功消费。
-
消息偏移量:Consumer 会记录已经消费的消息的偏移量(Offset),以便下次从正确的位置继续拉取消息。
事务消息
RocketMQ 支持事务消息,即确保消息的生产和消费在事务的上下文中保持一致性。事务消息的处理流程如下:
-
开启事务:在消息生产前,Producer 开启一个本地事务。
-
发送半消息:Producer 将消息发送给 Broker,但此时消息并不被直接消费,而是被标记为“半消息”(Half-Message)。
-
本地事务提交:Producer 在本地事务执行完毕后,根据事务的执行结果(成功或失败),向 Broker 发送事务提交或回滚的请求。
-
消息状态更新:Broker 接收到事务提交请求后,会将对应的“半消息”更新为可消费状态(Commit)或删除状态(Rollback)。
-
消费事务消息:如果消息状态为可消费,Consumer 可以正常消费该消息;如果消息状态为删除,则 Consumer 不会消费该消息。
通过事务消息的处理机制,RocketMQ 可以确保消息的生产和消费在分布式系统中的一致性。需要注意的是,事务消息可能会带来一定的性能开销,因此在使用时需要权衡性能和一致性的需求。