默认安装kafka后有个Kafka MirrorMaker服务,无法启动。
2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker
2016-08-05 15:20:50,356 ERROR kafka.tools.MirrorMaker$: Exception when starting mirror maker.从网上搜索相关文章,MirrorMaker为kafka的镜像工具,如果没有这个需求就可以不启动这个服务。
一、概括来说MirrorMaker就是kafka生产者与消费者的一个整合,通过consumer从源Kafka集群消费数据,然后通过producer将数据重新推送到目标Kafka集群,如下图:
二、MirrorMaker的使用相对也比较简单,下面说下启动命令及相关配置
启动脚本在$KAFKA_HOME/bin目录下,可通过命令kafka-run-class.sh kafka.tools.MirrorMaker查看相关说明:
说明:
whitelist、blacklist:该工具可以同步源集群所有的或者部分topic,可以用白名单描述要同步的topic,用黑名单描述不需要同步的topic,多个topic直接逗号分隔,并且支持通配符(java http://docs.oracle.com/javase/7/docs/api/java/util/regex/Pattern.html)
consumer.config:配置源kafka集群消费者相关信息
zookeeper.connect=zk1:2181,zk2:2181
group.id=mirrorMaker
producer.config :配置目标kafka集群生产者相关信息
metadata.broker.list=broker1:9092,broker2:9092
compression.codec=none
启动命令:
sh $KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config $KAFKA_HOME/config/mirrorMakerConsumer.config --num.streams 2 --producer.config $KAFKA_HOME/config/amirrorMakerProducer.config —num.producers 2 --whitelist="topic1"