配置kafka环境变量
1.1 编辑Linux 环境变量文件
vi /etc/profile
1.2 添加kafka环境变量
export KAFKA_HOME=/home/kafka/kafka_2.12-2.1.0
export PATH=KAFKA_HOME/bin:$PATH
1.3 使其生效
source /etc/profile
1.4 验证kafka环境变量生效
echo $KAFKA_HOME
拷贝MirrorMaker 使用的Kafka 配置文件
2.1 拷贝consumer.properties 文件
cp $KAFKA_HOME/conf/consumer.properties $KAFKA_HOME/bin/
2.2 拷贝producer.properties 文件
cp $KAFKA_HOME/conf/producer.properties $KAFKA_HOME/bin/
编辑MirrorMaker使用文件(consumer.properties、producer.properties)
3.1编辑 consumer.properties 配置文件
修改以下配置:
bootstrap.servers=192.168.1.161:9092,192.168.1.162:9092,192.168.1.163:9092
group.id=hrbb
注意:192.168.1.161,192.168.1.162,192.168.1.163 为本地kafka地址
3.2 编辑producer.properties 配置文件
修改以下配置:
bootstrap.servers=192.168.1.174:9092,192.168.1.175:9092,192.168.1.176:9092
注意:192.168.1.174,192.168.1.175,192.168.1.176 为待同步远端kafka地址
文件赋权限
4.1 给文件赋权限
chmod 777 -R *.properties
编辑启动脚本
5.1 新增启动脚本
vi startmirrormaker.sh
内容如下:
nohup $KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config consumer.properties --num.streams 2 --producer.config producer.properties --whitelist=".*" &
验证跨集群同步
6.1 在174 上执行如下命令:
./kafka-console-producer.sh --broker-list 192.168.1.174:9092 --topic sunq-topic
6.2 在161 上执行如下命令
./kafka-console-consumer.sh --bootstrap-server 192.168.1.161:9092 --topic sunq-topic