kafka-mirror-maker.sh脚本

一、MirrorMaker介绍
MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另一个数据中心提供副本。
其实现原理是通过从源集群中消费消息，然后将消息生产到目标集群中，也就是普通的生产和消费消息。
用户只需要在启动Kafka Mirror Maker时指定一些简单的消费端和生产端配置就可以实现准实时的数据同步。
二、kafka-mirror-maker.sh脚本参数
kafka-mirror-maker.sh脚本中有多个可配置的参数，如下表所示：
参数 释义
abort.on.send.failure 默认为true，决定生产者写入失败时的处理机制
consumer.config 用于指定消费者的配置文件，配置文件里有两个必填的参数：bootstrap.servers 和 group.id
consumer.rebalance.listener 指定再均衡监听器
help 打印帮助信息
message.handler 指定消息的处理器。这个处理器会在消费者消费到消息之后且在生产者发送消息之前被调用
message.handler.args 指定消息处理器的参数，同message.handler一起使用
num.streams 指定消费线程的数量
offset.commit.interval.ms 指定消费位移提交间隔
producer.config 用于指定生产者的配置文件，配置文件里唯一必填的参数是 bootstrap.servers
rebalance.listener.args 指定再均衡监听器的参数，同consumer.rebalance.listener一起使用
whitelist 指定需要复制的源集群中的主题。这个参数可以指定一个正则表达式，比如a|b表示复制源集群中主题a和主题b的数据。为了方便