Kafka集群搭建

Kafka集群搭建

1、软件环境

（1）linux一台或多台，大于等于2

（2）已经搭建好的zookeeper集群

（3）软件版本kafka_2.13-3.1.0.tgz

2、创建目录并下载安装软件

下载地址：https://kafka.apache.org/downloads

#创建项目目录
mkdir -p /srv/program/kafka

#解压软件
tar zxf kafka_2.13-3.1.0.tgz -C /srv/program/kafka/

3、修改配置文件

#进入到kafka的config目录
cd /srv/program/kafka/kafka_2.13-3.1.0/config/

主要关注：server.properties 这个文件即可，我们可以发现在目录下：

有很多文件，这里可以发现有Zookeeper文件，我们可以根据Kafka内带的zk集群来启动，但是建议使用独立的zk集群

[root@bogon config]# ll
... ...
-rw-r--r-- 1 root root 4674 1月  12 17:01 log4j.properties
-rw-r--r-- 1 root root 1925 1月  12 17:01 producer.properties
-rw-r--r-- 1 root root 6849 1月  12 17:01 server.properties
-rw-r--r-- 1 root root 1032 1月  12 17:01 tools-log4j.properties
-rw-r--r-- 1 root root 1169 1月  12 17:01 trogdor.conf
-rw-r--r-- 1 root root 1205 1月  12 17:01 zookeeper.properties

修改配置文件：

[root@localhost config]# vim server.properties
broker.id=1 #当前机器在集群中的唯一标识
listeners=PLAINTEXT://192.168.200.175:9092 #设置kafka的ip和端口
log.dirs=/srv/program/kafka/kafka-logs #消息存放的目录
zookeeper.connect=192.168.200.175:2181,192.168.200.176:2181,192.168.200.177:2181 #设置zookeeper的连接端口
zookeeper.connection.timeout.ms=38000 #连接zookeeper的超时时间，如果碰见kafka启动一会就自动退出，把这个值改大

4、启动Kafka集群

1、启动服务（先启动zookeeper集群，看上一篇文章）

#从后台启动Kafka集群
cd kafka_2.13-3.1.0/bin/ #进入到kafka的bin目录 
./kafka-server-start.sh -daemon ../config/server.properties

2、检查服务是否启动

#执行jps命令
[root@localhost bin]# jps
6608 Jps
5702 Kafka
2812 QuorumPeerMain