Kafka集群搭建

---

前言

本篇文章主要介绍Kafka集群搭建， kafka是最初由linkedin公司开发的，Kafka是一个分布式，分区的，多副本的，多订阅者的日志系统，可以用于搜索日志，监控日志，访问日志等 ；接下来介绍该集群的搭建步骤。

一、Kafka集群搭建

Kafka环境搭建还是基于Linux系统的node1/node2/node3进行搭建；

（一）上传kafka安装包并进行解压

cd /export/software/
tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/
cd /export/server/kafka_2.12-2.4.1/

（二）修改并配置server.properties档案

cd /export/server/kafka_2.12-2.4.1/config
vim server.properties
# 指定broker的id
broker.id=0
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node1:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka_2.12-2.4.1/data
# 配置zk的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

（三）将安装好的kafka复制到另外两台服务器

cd /export/server
scp -r kafka_2.12-2.4.1/ node2:$PWD
scp -r kafka_2.12-2.4.1/ node3:$PWD

修改另外两个节点的broker.id分别为1和2
---------node2--------------
cd /export/server/kafka_2.12-2.4.1/config
vim erver.properties
broker.id=1
listeners=PLAINTEXT://node2:9092

--------node3--------------
cd /export/server/kafka_2.12-2.4.1/config
vim server.properties
broker.id=2
listeners=PLAINTEXT://node3:9092

（四）配置KAFKA_HOME环境变量

vim /etc/profile
export KAFKA_HOME=/export/server/kafka_2.12-2.4.1
export PATH=:$PATH:${KAFKA_HOME}

分发到各个节点
scp /etc/profile node2:$PWD
scp /etc/profile node3:$PWD
每个节点加载环境变量
source /etc/profile

（五）启动服务器

由于kafka集群依赖于Zookeeper集群，所以启动Kafka集群前需要启动Zookeeper集群

1. 启动Zookeeper集群

   zkServer.sh start

2. 启动kafka集群

   cd /export/server/kafka_2.12-2.4.1
   nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

3. 使用jps命令看看各个节点是否出现Kafka，如果各个节点都出现，说明Kafka集群已启动成功
   

---

总结

至此，Kafka集群已经搭建完成，该集群是Apache旗下的一款开源免费的消息队列的中间件产品，在之后的文章中会继续介绍该集群，让我们拭目以待吧！