kafka集群搭建

集群搭建准备

kafka集群搭建需要zookeeper集群，zookeeper集群搭建有两种方法：

1、使用kafka有自带的zookeeper，这种好像都不怎么推荐；

2、使用自己的zookeeper搭建集群，搭建方法：zookeeper集群搭建。

kafka集群搭建

注：1、zookeeper的版本：zookeeper-3.5.8；

       2、三个节点ip和port：192.168.205.128:2181，192.168.205.128:2182，192.168.205.128:2183；

       3、myid文件内容分别为：1，2，3；

       4、kafka官方下载地址：http://kafka.apache.org/downloads；

       5、本次使用的是kafka_2.13-2.6.0版本。

搭建步骤

1、下载，将压缩文件下载到/usr/local/tmp下：

下载地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka_2.13-2.6.0.tgz，或直接使用 wget 下载镜像：

cd /usr/local/tmp
wget https://mirror.bit.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz

2、解压，并将解压后文件夹移动到/usr/local/kafka-cluster下，重名名为kafka01，为搭建集群做准备，如果没有kafka-cluster路径，事先建好：

tar -zxvf kafka_2.13-2.6.0.tgz
mv kafka_2.13-2.6.0 /usr/local/kafka-cluster/kafka01

3、进入kafka01，创建log目录，用来存放日志文件

cd /usr/local/kafka-cluster/kafka01
mkdir log

4、修改server.properties配置文件

vim config/server.properties

修改内容为：

# 每个server的broker.id不能一样
broker.id=1
# 日志文件存储路径
log.dirs=/usr/local/kafka-cluster/kafka01/log

listeners=PLAINTEXT://192.168.205.128:9091
 
# 在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
 
# 设置zookeeper的连接端口
zookeeper.connect&