kafka集群搭建

Kafka集群搭建

前置条件需要存在 Java 、 zookeeper环境，如未安装请先安装 。

• 下载地址：http://kafka.apache.org/downloads
• 上传文件到服务器

上传压缩文件到 /usr/local/packages 目录中，若没有 packages 目录则创建。

• 解压文件

cd /usr/local/packages
tar -zxvf kafka_2.13-2.7.0.tgz -C ~/software/
cd ~/software
mv kafka_2.13-2.7.0/ kafka

• 修改配置文件

配置文件位于 kafka 安装目录下的 config 目录下：
server.properties

vim server.properties

• 修改配置如下：

# broker id 在集群中要保证唯一（例如，0,1，2）
broker.id=0
# kafka 的监听地址（每台主机分别监听自己的 ip）
listeners=PLAINTEXT://192.168.198.128:9092
# kafka 消息存放目录
log.dirs=/home/hadoop/software/kafka/kafka-logs
# zookeeper 集群地址 ，请填写zookeeper服务的地址
zookeeper.connect=192.168.198.128:2181,192.168.198.129:2181,192.168.198.130:2181

**修改其它broker节点配置文件**
```shell
broker.id=1
listeners=PLAINTEXT://192.168.198.129:9092

broker.id=2
listeners=PLAINTEXT://192.168.198.130:9092

• 创建消息存放目录

mkdir /home/hadoop/software/kafka/logs
mkdir /home/hadoop/software/kafka/kafka-logs
``

# 启动kafka


```shell
cd /home/hadoop/software/kafka

nohup bin/kafka-server-start.sh config/server.properties > logs/kafka20230805.out &

• 检查kafka是否启动成功

执行 jps 命令，查看是否集群中每台主机都出现 了Kafka 进程。

• 查看kafka版本

bin/kafka-topics.sh --version

• 创建主题topic

bin/kafka-topics.sh --create --topic ts-topic --partitions 1 --replication-factor 1 --bootstrap-server 192.168.198.128:9092

• 查看主题topic详细信息

bin/kafka-topics.sh --bootstrap-server 192.168.198.128:9092 --topic silo-topic --describe