概述
Mirroring data between clusters (Source Cluster ---> Destination Cluster)
就是通过使用kafka自带的mirror-maker工具把一个集群里的主题cp到另外一个kafka集群中,使用场景:1、数据需要迁移到新集群; 2、多个集群之间的数据需要同步…………
使用
nohup bin/kafka-mirror-maker --consumer.config mirror-maker-consumer.properties --offset.commit.interval.ms 5000 --producer.config mirror-maker-producer.properties --whitelist '.*mirrormaker' &
两个自建的配置文件。
1、mirror-maker-consumer.properties
bootstrap.servers=hostname1:9094,hostname2:9094(Source Cluster kafka地址)
group.id=mirror-maker(自己取)
auto.offset.reset=earliest<