Kafka集群搭建

Kafka集群搭建

需要先安装zookeeper 参考zookeeper 集群环境

1.1 下载解压

Kafka 安装包官方下载地址：http://kafka.apache.org/downloads ，本用例下载的版本为 3.1.0，下载命令：

# 下载
wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
# 解压
tar -xzf kafka_2.13-3.1.0.tgz

这里解释一下 kafka 安装包的命名规则：以kafka_2.13-3.1.0.tgz 为例，前面的 2.13 代表 Scala 的版本号（Kafka 采用 Scala 语言进行开发），后面的 3.1.0 则代表 Kafka 的版本号。

1.2 修改配置

修改配置文件：

server.properties：

# The id of the broker. 集群中每个节点的唯一标识
broker.id=0
num.partitions=3
# 监听地址
listeners=PLAINTEXT://127.0.0.1:9092
# 数据的存储位置
log.dirs=/usr/local/kafka-logs/
# Zookeeper连接地址
zookeeper.connect=192.168.146.200:2181,192.168.146.201:2182,192.168.146.202:2181

这里需要说明的是 log.dirs 指的是数据日志的存储位置，确切的说，就是分区数据的存储位置，而不是程序运行日志的位置。程序运行日志的位置是通过同一目录下的 log4j.properties 进行配置的。

1.3 复制配置文件

把整个kafka的目录复制到其他两台机器。

1.4 启动集群

启动三个 Kafka 节点（启动kafka集群前必须先启动zookeeper集群）。启动后可以使用 jps 查看进程，此时应该有三个 zookeeper 进程和三个 kafka 进程。

进入到kafka bin 目录下执行启动命令

./kafka-server-start.sh -daemon ../config/server.properties

1.5 创建测试主题

创建测试主题：

 ./kafka-topics.sh --create --topic test-topic --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1

创建后可以使用以下命令查看创建的主题信息：

./kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092 test-topic

./kafka-topics.sh --describe --bootstrap-server 127.0.0.1:9092 --topic test-topic