kafka集群安装

kafka要在node1，node2，node3都安装，
kafka的下载地址看博客园
tar -zxvf kafka_2.12-3.4.0.tgz
mv kafka_2.12-3.4.0 kafka
cd /root/kafka/config
进入到kafka的安装目录里面
config目录下有三个配置文件，
server.properties(服务端)，producer.properties(生产端)，consumer.properties(消费者端)
修改server.properties配置文件
broker.id相当于kafka在整个集群中的身份唯一标识，比如在node1上配置的
broker.id=0，那么在node2上配置的broker.id=1，在node3上配置的
broker.id=2，在node1，node2，node3上kafka的broker.id不能重复
broker.id=0
log.dirs存储kafka对应数据的地方，在kafka安装目录下新建datas目录用于存放数据
[root@node1 kafka]# mkdir datas
在kafka的安装目录下新建一个目录datas作为存储Kafka数据的地址
[root@node1 datas]# pwd
/root/kafka/datas
log.dirs=/root/kafka/datas
zookeeper.connect=node1:2181,node2:2181,node3:2181/kafka

以上是Node1的配置，还有node2的和node3的配置中只有broker.id不一样
node2的broker.id=1，node3的broker.id=2

第二步：修改环境变量
[root@node1 ~]# sudo vim /etc/profile.d/my_env.sh
添加
#KAFKA_HOME
export KAFKA_HOME=/root/kafka
export PATH=$PATH:$KAFKA_HOME/bin
在source /etc/profile使文件生效
在Node1，node2，node3上的my_env.sh的修改一致

安装完成之后启动，启动kafka之前必须先启动zookeeper
[root@node1 bin]# bin/zkServer.sh start
再启动kafka集群
[root@node1 kafka]# bin/kafka-server-start.sh -daemon config/server.properties