Kakfa 跨数据中心复制方案：MirrorMake

Kakfa MirrorMaker 是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置，然后启动Mirror，就可以实现准实时的数据同步

背景

Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置，然后启动Mirror，就可以实现准实时的数据同步

概述

MirrorMaker工具将源Kafka集群镜像到目标(镜像)Kafka集群。该工具使用Kafka使用者使用来自源集群的消息，并使用嵌入式Kafka生成器将这些消息重新发布到本地(目标)集群。

image.png

如何设置一个镜像

bin/kafka-mirror-maker.sh --consumer.config sourceCluster1Consumer.config --consumer.config sourceCluster2Consumer.config --num.streams 2 --producer.config targetClusterProducer.config --whitelist=".*"

参考

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330