Kafka mirror实践

mirror功能介绍可查看其他资源，本次只介绍实际部署案例，hostA和hostB上分别有两套单节点kafka集群，配置数据由hostA的topic同步至hostB的topic

 

1.配置两边的/etc/hosts，互通

2.在hostA节点创建mirror-consumer.properties  mirror-producer.properties

mirror-consumer.properties内容：

bootstrap.servers=hostA:9092
group.id=mirror

mirror-producer.properties内容：

bootstrap.servers=hostB:9092

3.在hostB节点创建相同mirror-consumer.properties  mirror-producer.properties文件

4.在hostA和hostB Kafka集群中都存在topic test_demo

5.在hostA启动mirror maker

kafka-mirror-maker.sh --consumer.config ~/mirror-consumer.properties --producer.config ~/mirror-producer.properties --whitelist "test_demo"

5.在hostB启动mirror maker

kafka-mirror-maker.sh --consumer.config ~/mirror-consumer.properties --producer.config ~/mirror-producer.properties --whitelist "test_demo"

 

6.测试

在hostA集群中生产数据到test_demo

 kafka-console-producer.sh --broker-list hostA:9092 --topic test_demo

在hostB集群中消费test_demo

kafka-console-consumer.sh --bootstrap-server hostB:9092  --from-beginning --topic test_demo