记一次Kafka跨集群同步

---

配置kafka环境变量

---

1.1 编辑Linux 环境变量文件
vi /etc/profile
1.2 添加kafka环境变量
export KAFKA_HOME=/home/kafka/kafka_2.12-2.1.0
export PATH=KAFKA_HOME/bin:$PATH
1.3 使其生效
source /etc/profile
1.4 验证kafka环境变量生效
echo $KAFKA_HOME

拷贝MirrorMaker 使用的Kafka 配置文件

2.1 拷贝consumer.properties 文件
cp $KAFKA_HOME/conf/consumer.properties $KAFKA_HOME/bin/
2.2 拷贝producer.properties 文件
cp $KAFKA_HOME/conf/producer.properties $KAFKA_HOME/bin/

编辑MirrorMaker使用文件(consumer.properties、producer.properties)

3.1编辑 consumer.properties 配置文件
修改以下配置：
bootstrap.servers=192.168.1.161:9092,192.168.1.162:9092,192.168.1.163:9092
group.id=hrbb

注意：192.168.1.161，192.168.1.162，192.168.1.163 为本地kafka地址

3.2 编辑producer.properties 配置文件
修改以下配置：
bootstrap.servers=192.168.1.174:9092,192.168.1.175:9092,192.168.1.176:9092

注意：192.168.1.174，192.168.1.175，192.168.1.176 为待同步远端kafka地址

文件赋权限

4.1 给文件赋权限
chmod 777 -R *.properties

编辑启动脚本

5.1 新增启动脚本
vi startmirrormaker.sh
内容如下：
nohup $KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config consumer.properties --num.streams 2 --producer.config producer.properties --whitelist=".*" &

验证跨集群同步

6.1 在174 上执行如下命令：
./kafka-console-producer.sh --broker-list 192.168.1.174:9092 --topic sunq-topic
6.2 在161 上执行如下命令
./kafka-console-consumer.sh --bootstrap-server 192.168.1.161:9092 --topic sunq-topic