ARM服务器部署Kafka集群

安装前必备的条件是:

(1)安装jdk(提供环境);

(2)安装zookeeper(注册kafka信息);

需要这方面信息的可以查看我之前写的文档;

一.下载安装包

Kafka官网下载地址

Apache Kafka

根据自己需要下载相应的版本

目前最新的版本是3.6.1。

二.解压安装包

服务器上传下载好的kafka（kafka_2.12-2.5.0.tgz）

tar -zxvf kafka_2.12-2.5.0.tgz

三.修改配置

三台服务器节点搭建几乎一致，但是需要重点关注【server.properties】的配置细节

修改server.properties配置文件,修改配置文件前养成一个好习惯，先备份再修改；

cp  server.properties server.properties_bac

vim server.properties

主要修改以下四个地方：

#节点id(每台服务器id是唯一标识，会注册到zookeeper)

broker.id=0

#配置本机IP和端口

listeners=PLAINTEXT://ip:9092

#配置kafka日志记录位置

log.dirs=/data1/software/kafka_2.12-2.5.0/kafka-logs

#配置kafka连接zookeeper的地址,如果部署的是zookeeper集群，需要使用逗号分开，根据自己的需要灵活修改。

zookeeper.connect=ip:2181

四.配置broker1,2节点

远程拷贝kafka到其他需要部署的kafka服务器的指定目录，命令如下:

scp -r kafka_2.12-2.5.0 root@ip:/data1/software

拷贝结束后，只需要修改server.properties配置即可,主要修改的地方如下:

#节点id

broker.id=1

#配置本机IP和端口

listeners=PLAINTEXT://ip:9093

#配置kafka日志记录位置

log.dirs=/data1/software/kafka_2.12-2.5.0/kafka-logs

#配置kafka连接zookeeper的地址,如果部署的是zookeeper集群，需要使用逗号分开，根据自己的需要灵活修改。

zookeeper.connect=ip:2181

#节点id

broker.id=2

#配置本机IP和端口

listeners=PLAINTEXT://ip:9093

#配置kafka日志记录位置

log.dirs=/data1/software/kafka_2.12-2.5.0/kafka-logs

#配置kafka连接zookeeper的地址,如果部署的是zookeeper集群，需要使用逗号分开，根据自己的需要灵活修改。

zookeeper.connect=ip:2181

五.启动kafka集群

到kafka启动bin目录下:

cd /data1/software/kafka_2.12-2.5/bin

进行后台启动

./kafka-server-start.sh -daemon ../config/server.properties 

查看kafka启动进程

三个节点进行同样的操作。

六.检查集群是否整个注册到zookeeper上

登录zookeeper服务器，使用如下命令连接客户端

zkCli.sh

使用如下命令查看kafka的brokers信息

 ls /brokers/ids