kafka 集群快速搭建

由于 kafka 需要依赖于 zookeeper

所以请先参考我的另一片文章搭建 zookeeper https://blog.csdn.net/weixin_40461281/article/details/85336396

kafka 下载地址 http://apache.fayea.com/kafka/ 

这里我用的是 kafka_2.12-0.11.0.3 版本

准备 3台服务器

下载 kafka 到 3台服务器 并解压

进入 kafka 目录下的 config 文件夹 找到 server.properties

vim server.properties

修改 broker.id 三台服务器分别为 0 ,1 ,2 该参数为设定集群设备id

修改 listeners=PLAINTEXT://本机ip:9092 格式 该参数为设定集群通信ip端口

翻到 server.properties 最下面 

找到 zookeeper.connection 该参数为指定 zookeeper 地址与端口 这里我填写的是 我的zookeeper集群ip 

格式为:  ip:端口,ip:端口,ip:端口

将 三台服务器 的 server.properties 文件都修改好之后

进入 kafka目录下的 bin 文件夹

如果不是 绿色高亮 请使用 chmod +x *.sh 命令进行授权

启动 kafka  加载配置文件  并作为守护线程运行 命令

sh kafka-server-start.sh -daemon ../config/server.properties

停止 kafka 命令

sh kafka-server-stop.sh

查看日志 进入 kafka 目录下的 logs 文件夹 找到 server.log

执行命令

tail -f server.log 即可

分别启动三台服务器的kafka

启动成功后 在第一台服务器 创建 topic

进入 kafka 目录下 的 bin 文件夹 执行命令

sh kafka-topics.sh --create --zookeeper 你的zookeeper的ip:2181 --replication-factor 1 --partitions 1 -- topic demo

提示创建 topic "demo" 成功

然后再 第二台服务器 查询 topic

进入 kafka 目录下 的 bin 文件夹 执行命令

sh kafka-topics.sh --list --zookeeper 你的zookeeper的ip:2181

 集群搭建成功