linux kafka 环境搭建,zookeeper + kafka 集群安装部署教程（linux环境下）

说明：教程使用4台服务器，1台用作zookeeper，3台用kafka

必备条件:jdk

kafka自带zookeeper 也可以使用kafka内置的zookeeper

一、zookeeper下载安装

进入目录下载

2、下载好放到一台zookeeper服务器上面解压

tar zxvf apache-zookeeper-3.5.7-bin.tar.gz -C ./

3、进入conf目录下，复制zoo_sample.cfg文件，名字为zoo.cfg (不然启动找不到该文件)

cd ./apache-zookeeper-3.5.7-bin/conf

cp zoo_sample.cfg ./zoo.cfg

4、启动服务

#启动

sh zkServer.sh start

#查看启动状态

sh ./zkServer.sh status

启动成功

二、kafka下载安装

2、下载好放到kafka服务器上面解压

tar zxvf kafka_2.12-2.3.0.tgz -C ./

3、在config目录下配置集群

vi server.properties

1、把broker.id改0，1，2 三台机器不一样

broker.id=0

2、把listeners生效，并加上本机ip

listeners=PLAINTEXT://本机ip:9092

3、指定zookeeper连接地址，改为zookeeper服务器地址

zookeeper.connect=192.168.88.137:2181

4、启动kafka，三台机器启动

sh kafka-server-start.sh -daemon ../config/server.properties

#查看zookeeper

ps -ef|grep zookeeper

可以看kafka日志文件是否有报错

启动完成后，查看zookeeper集群连接情况

1.进入zookeeper的bin目录下执行

sh zkCil.sh

#查看 执行

ls /

#查看连接情况

ls /brokers/ids

5、任意一台机器  新建topic

sh kafka-topics.sh --create --zookeeper 192.168.88.137:2181 --replication-factor 1 --partitions 1 --topic test

#说明

#192.168.88.137:2181 ###这是zookeeper服务ip+端口号

#test ###这是topic

6、使用任意一台kafka服务器做生产者

sh kafka-console-producer.sh --broker-list 192.168.88.132:9092 --topic test

7、使用三台kafka消费

./kafka-console-consumer.sh --bootstrap-server 192.168.88.132:9092 --topic test --from-beginning

动态图如下：