Kakfa MirrorMaker 是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理,其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster,即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置,然后启动Mirror,就可以实现准实时的数据同步
背景
Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理,其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster,即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置,然后启动Mirror,就可以实现准实时的数据同步
概述
MirrorMaker工具将源Kafka集群镜像到目标(镜像)Kafka集群。该工具使用Kafka使用者使用来自源集群的消息,并使用嵌入式Kafka生成器将这些消息重新发布到本地(目标)集群。
![](https://i-blog.csdnimg.cn/blog_migrate/353ebcea2c65c9361334c833f3402d1b.png)
image.png
如何设置一个镜像
bin/kafka-mirror-maker.sh --consumer.config sourceCluster1Consumer.config --consumer.config sourceCluster2Consumer.config --num.streams 2 --producer.config targetClusterProducer.config --whitelist=".*"
参考
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330