Kafka集群搭建

虚拟机准备

与下面ZooKeeper集群环境搭建中相同环境

安装JDK8

在三台虚拟机中安装JDK8，并设置环境变量

CentOS7安装JDK8

搭建ZooKeeper集群环境

ZooKeeper集群环境搭建

下载Kafka

官网下载页面：https://kafka.apache.org/downloads

下载版本：kafka_2.13-2.5.0.tgz

将下载好的文件传至/opt目录中

安装（解压）

解压至/usr/local目录下，解压后kafka目录为/usr/local/kafka_2.13-2.5.0

tar -zxvf /opt/kafka_2.13-2.5.0.tgz -C /usr/local

配置集群环境

在/usr/local/kafka_2.13-2.5.0目录中创建data文件夹

cd /usr/local/kafka_2.13-2.5.0
mkdir data

配置server.properties

打开server.properties配置文件

vi config/server.properties

修改如下配置，其他内容保持不变

broker.id=101

log.dirs=/usr/local/kafka_2.13-2.5.0/data

zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181

分发至其他虚拟机

上面操作在一台虚拟机中进行即可，配置好后，分发至另外两台虚拟机（scp命令需要输入密码）

scp -r /usr/local/kafka_2.13-2.5.0 root@hadoop102:/usr/local/
scp -r /usr/local/kafka_2.13-2.5.0 root@hadoop103:/usr/local/

注：分发后要修改对应的broker.id

启动Kafka服务

三台虚拟机都执行如下启动命令

sh bin/kafka-server-start.sh -daemon config/server.properties

至此集群环境搭建完成~