kafka安装教程

linux 安装kafka教程

由于kafka依赖zookeeper因此需要安装zookeeper，而kafka是基于scala语言编写，scala又是基于jdk的，因此需要安装jdk

1 我们以kafka_2.12-2.4.0.tgz 为例，将压缩包上传至服务器 /data/config

tar -zxvf kafka_2.12-2.4.0.tgz

2 配置环境变量

export KAFKA_HOME=/data/config/kafka_2.12-2.4.0
export PATH=$KAFKA_HOME/bin:$PATH

使配置生效：source /etc/profile

3 修改配置文件

/config/server.properties 修改zookeeper.connect集群地址
/config/zookeeper.properties Kafka所管理的单机zookeeper（不使用）

在各自的配置文件中，都有日志输出文件夹，请自行修改路径
server.properties 里面是 log.dirs
zookeeper.properties 里面是 dataDir

4 开放端口和防火墙

#开启防火墙
systemctl start firewalld

#开启2181(zk，如果需要向外连接zk则需要)
firewall-cmd --zone=public --add-port=2181/tcp --permanent 

#开启开启9092（kafka）
firewall-cmd --zone=public --add-port=9092/tcp --permanent

#重启防火墙
firewall-cmd --reload

#查看已经开放的端口 
firewall-cmd --list-ports

#查看是否开启成功
firewall-cmd --list-ports

5 启动zookeeper命令 加上-daemon 为后台启动

./zookeeper-server-start.sh -daemon ../config/zookeeper.properties  开启命令

./zookeeper-server-stop.sh  关闭命令

6 启动kafka命令

./bin/kafka-server-start.sh -daemon ./config/server.properties  启动命令

./bin/kafka-server-stop.sh  关闭命令

所遇到问题，在连接过程中，有可能会出现以下错误

Connection to node -1 could not be established. Broker may not be available.

出现此错误的话，
1 查看zookeeper kafka 是否启动成功
2 可以在server.properties 中修改 
将advertised.listeners=PLAINTEXT://:9092注释去掉并换成advertised.listeners=PLAINTEXT://192.168.xxx.xxx:9092
最后重新启动kafka服务