RocketMQ Compaction Topic的设计与实现

本文作者：刘涛，阿里云智能技术专家。

01 Compaction Topic介绍

一般来说，消息队列提供的数据过期机制有如下几种，比如有基于时间的过期机制——数据保存多长时间后即进行清理，也有基于数据总量的过期机制——数据分区数据量达到一定值后进行清理。

而 Compaction Topic 是一种基于 key 的数据过期机制，即对于相同 key 的数据只保留最新值。

该特性的应用场景主要为维护状态信息，或者在需要用到 KV 结构时，可以通过 Compaction Topic 将 key-value 信息直接保存到 MQ，从而解除对外部数据库的依赖。比如维护消费位点，可以将消费组加分区作为 key ，将消费位点做 offset ，以消息形式发送到 MQ ，压缩之后，消费时获取最新 offset 信息即可。另外，像 connect 里的 source 信息比如 Binlog 解析位点或其他 source 处理的位点信息均可存到 Compaction Topic。同时 Compaction Topic 也支持 存储 RSQLDB 与 RStreams 的 checkpoint 信息。

02 需要解决的问题