linux部署kafka3.5.1(单机)

一、下载jdk17

kafka3.x版本需要jdk11以上版本才能更好的兼容，jdk11、jdk17都是LTS长期维护版本，而且jdk17支持springboot3.x,所以我选择了openjdk17。

下载地址: Archived OpenJDK GA Releaseshttps://jdk.java.net/archive/

二、上传jdk安装包解压

openjdk-17_linux-x64_bin.tar.gz 安装包上传到服务器的安装目录

执行命令解压： tar -zxvf openjdk-17_linux-x64_bin.tar.gz

三、配置jdk环境变量

由于我使用的不是root用户安装kafka的，所以我把环境变量配在~/.bashrc文件中了

vim ~/.bashrc

按 i 编辑，文件末尾追加内容如下：

export JAVA_HOME=/usr/local/jdk/jdk17

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH = .:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH = $JAVA_HOME/bin:$PATH

:wq 保存退出

source ~/.bashrc 执行环境变量脚本

验证是否生效： java -version

四、下载kafka3.5.1

官方网站太卡，建议通过国内清华大学的开源软件镜像站下载。

下载路径：清华大学开源软件镜像站 | Tsinghua Open Source Mirror清华大学开源软件镜像站，致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务，帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。https://mirrors.tuna.tsinghua.edu.cn/

五、上传kafka安装包解压

cd /home/kafka/soft

tar -zxvf kafka_2.13-3.5.1.tgz

六、配置kafka配置文件

6.1zookeeper模式

6.1.1修改kafka配置文件

vim conf/server.properties

--修改kafka的数据存储目录

log.dir=/home/kafka/soft/kafka_2.13-3.5.1/dataKafka

--内部地址

listeners=PLAINTEXT://:9092

--对外暴露地址（一般用公网地址,如果是局域网使用，也可以是内网地址）

advertised.listeners=PLAINTEXT://公网ip:9092  

6.1.2修改zookeeper配置文件

vim conf/zookeeper.properties

--修改zookeeper的数据存储目录

dataDir=/home/kafka/soft/kafka_2.13-3.5.1/dataZookeeper

6.2kraft模式

6.2.1修改kraft配置文件

路径：/home/kafka/soft/kafka_2.13-3.5.1/config/kraft/server.properties

--修改kafka的数据存储目录

log.dir=/home/kafka/soft/kafka_2.13-3.5.1/dataKraft

--内部地址

listeners=PLAINTEXT://:9092

--对外暴露地址（一般用公网地址,如果是局域网使用，也可以是内网地址）

advertised.listeners=PLAINTEXT://公网ip:9092 

七、启动kafka

7.1 zookeeper模式

7.1.1启动zookeeper

./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

查看启动日志 

tail -222f logs/zookeeper.out

7.1.2启动kafka

./bin/kafka-server-start.sh -daemon config/server.properties

tail -222f logs/kafkaServer.out 或 tail -222f logs/server.log

7.2 kraft模式

7.2.1启动kafka

(1) 获取uuid：./bin/kafka-storage.sh random-uuid

(2) 将uuid写入配置文件中：

./bin/kafka-storage.sh format -t [uuid] -c ./config/kraft/server.properties

(3) 启动命令： ./bin/kafka-server-start.sh -daemon config/kraft/server.properties

(4) 查看日志：tail -222f logs/kafkaServer.out 或 tail -222f logs/server.log

八、测试主题的生产和消费

8.1创建主题测试
./bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic test
./bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test

8.2生产者测试
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

>[输入自己想要生成的消息]

8.3消费者测试

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning --group testGroup