kafka集群配置

kafka集群配置

1.启动三台云主机

2.cd /home/software

3.下载kafka的安装包并解压
wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/kafka_2.11-1.0.0.tgz
tar -xvf kafka_2.11-1.0.0

4.cd kafka_2.11-1.0.0

5.进入config目录
cd config/

7. 编辑server.properties文件
   vim server.properties
   修改三个位置
   #broker标识id，唯一
   broker.id=1
   #kafka用于存储数据的目录
   log.dirs=/home/software/kafka_2.11-1.0.0/kafka-logs
   #zookeeper集群的地址
   zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
   保存退出

8.通过远程拷贝指令将第一台云主机上的配置内容发送给第二台和第三台：
scp -r kafka_2.11-1.0.0 hadoop02:/home/software/
scp -r kafka_2.11-1.0.0 hadoop03:/home/software/

9.更改broker.id（第二台是2，第三台是3）

10.启动zookeeper集群，进入zookeeper的的bin目录，执行 sh zkServer.sh start
cd zookeeper-3.4.8/bin
sh zkServer.sh start
sh zkServer.sh status（查看状态）
三台云主机的状态应为1个leader+2个follower

11.启动kafka集群，分别进入每台kafka的bin目录，执行
cd /home/software/kafka_2.11-1.0.0/bin/
sh kafka-server-start.sh …/config/server.properties
复制云主机的标签就可以在标签中操作了
cd /home/software/kafka_2.11-1.0.0/bin/