MirrorMaker kafka跨集群同步方案

以下内容是我之前配置的集群同步方案。

 

脚本路径

/usr/local/kafka/bin/kafka-mirror-maker.sh

 

consumer.properties

bootstrap.servers=10.255.30.152:9092

group.id=mirrorGroupTest

auto.offset.reset=earliest

partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor

producer.properties

bootstrap.servers=10.255.30.132:9092 compression.type=none retries=3

启动脚本：start-mirror-maker.sh

nohup bin/kafka-mirror-maker.sh --consumer.config MirrorMaker/consumer.properties --producer.config MirrorMaker/producer.properties --whitelist ' test' &

 

如需要调试，查看debug日志 可以修改

/usr/local/kafka/config/tools-log4j.properties

接下来进行测试：

需要注意的问题：

consumer.properties （10.255.30.152:9092） 需要同步的消息源集群

producer.properties （10.255.30.132:9092） 为消息目标集群

结果：消息写入10.255.30.152:9092 集群， 此时消息会被复制到目标集群10.255.30.132:9092。

 

惠惠街 每天千款优惠劵秒杀