集群搭建准备
kafka集群搭建需要zookeeper集群,zookeeper集群搭建有两种方法:
1、使用kafka有自带的zookeeper,这种好像都不怎么推荐;
2、使用自己的zookeeper搭建集群,搭建方法:zookeeper集群搭建。
kafka集群搭建
注:1、zookeeper的版本:zookeeper-3.5.8;
2、三个节点ip和port:192.168.205.128:2181,192.168.205.128:2182,192.168.205.128:2183;
3、myid文件内容分别为:1,2,3;
4、kafka官方下载地址:http://kafka.apache.org/downloads;
5、本次使用的是kafka_2.13-2.6.0版本。
搭建步骤
1、下载,将压缩文件下载到/usr/local/tmp下:
下载地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka_2.13-2.6.0.tgz,或直接使用 wget 下载镜像:
cd /usr/local/tmp
wget https://mirror.bit.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz
2、解压,并将解压后文件夹移动到/usr/local/kafka-cluster下,重名名为kafka01,为搭建集群做准备,如果没有kafka-cluster路径,事先建好:
tar -zxvf kafka_2.13-2.6.0.tgz
mv kafka_2.13-2.6.0 /usr/local/kafka-cluster/kafka01
3、进入kafka01,创建log目录,用来存放日志文件
cd /usr/local/kafka-cluster/kafka01
mkdir log
4、修改server.properties配置文件
vim config/server.properties
修改内容为:
# 每个server的broker.id不能一样
broker.id=1
# 日志文件存储路径
log.dirs=/usr/local/kafka-cluster/kafka01/log
listeners=PLAINTEXT://192.168.205.128:9091
# 在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
# 设置zookeeper的连接端口
zookeeper.connect&