Kafka 3.6.1 Kraft模式集群安装

W u 小杰

于 2024-06-16 21:25:39 发布

阅读量933

点赞数 14

文章标签： kafka 分布式

本文链接：https://blog.csdn.net/weixin_50236289/article/details/139726710

版权

Kafka 3.6.1 Kraft模式集群安装

1 概述

1 传统消息队列的应用场景

1）缓存/消峰

有助于控制和优化数据流经过系统的速度，解决和生产消息和消费者消息的处理速度不一致的情况

2）解耦

允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束

3）异步通信

允许用户把一个消息放入队列，但并不立即处理它，然后再需要的时候再去处理它们

2 消息队列的两种模式

1）点对点模式

消费者主动拉去数据，消息收到后清楚消息

2）发布/订阅模式

可以有多个topic主题（浏览、点赞、收藏、评论等）

消费者消费数据之后，不删除数据

每个消费者相互独立，都可以消费到数据

3 基础架构

1 Producer 生产者

用来对接外部传来的数据

2 Consumer 消费者

用来消费kafka的数据

3 TopicA

存储各种各样类型的数据

4 工作逻辑

a 为方便扩展，并提高吞吐量，一个topic分为多个partition(分区)，一个分区只能由一个消费者来消费

b 配合分区的设计，提出消费者组的概念，组内每个消费者并行消费

c 副本机制，每个partition增加若干副本，实现数据冗余，保证数据不丢失，在kafka里面，副本分为 leader 和 follower 之分，生产和消费指针对leader ，当leader 挂掉之后，follower 有条件成为leader

5 Kraft模式

1）kafka2.8.0之前需要依赖于zookeeper，有元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理，但是 kafka2.8.0之后，不再依赖外部框架，而是能够独立运行 ,用三台 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。

2）优势

1 controller 管理集群时，不再需要从 zookeeper 中先读取数据，集群性能上升
2 由于不依赖 zookeeper，集群扩展时不再受到 zookeeper 读写能力限制
3 controller 不再动态选举，而是由配置文件规定。可以有针对性的加强controller 节点的配置，而不是像以前一样对随机 controller 节点的高负载束手无策。

2 安装部署

2.1 集群规划

主机名	IP	应用
wujj001	11.0.1.131	Kafka
wujj002	11.0.1.136	Kafka
wujj003	11.0.1.137	Kafka

2.2 下载所需资源以及环境配置

2.2.1 安装jdk17（三节点都要操作）

2.2.1.1 下载jdk17并解压

[weihu@wujj001 ~]$ wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz
[weihu@wujj001 ~]$ tar -zxvf jdk-17_linux-x64_bin.tar.gz -C /home/jdk17
[root@wujj001 ~]# chown -R weihu:weihu /home/jdk17

2.2.1.2 配置环境变量

[root@wujj001 ~]# vim /etc/profile
# 末行加入
JAVA_HOME=/home/jdk17/jdk-17.0.10
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

[root@wujj001 ~]# source /etc/profile
[root@wujj001 ~]# java -version
java version "17.0.10" 2024-01-16 LTS
Java(TM) SE Runtime Environment (build 17.0.10+11-LTS-240)
Java HotSpot(TM) 64-Bit Server VM (build 17.0.10+11-LTS-240, mixed mode, sharing)

2.2.2 下载kafka二进制包并解压（三节点都要操作）

2.2.2.1 下载地址 (要下载scala版本为2.13的)

https://kafka.apache.org/downloads

2.2.2.2 创建目录解压

[weihu@wujj001 ~]$ mkdir /home/weihu/kafka
[weihu@wujj001 kafka]$ cd /home/weihu/kafka/
[weihu@wujj001 kafka]$ tar -zxvf kafka_2.13-3.6.1.tgz
[weihu@wujj001 kafka]$ mv kafka_2.13-3.6.1/ kafka-3.6.1

2.3 修改配置文件（以11.0.1.131为例子）

2.3.1 查看kafka目录

[weihu@wujj001 ~]$ cd /home/weihu/kafka/kafka-3.6.1/
[weihu@wujj001 kafka-3.6.1]$ ll -tr
总用量 72K
-rw-r--r-- 1 weihu weihu  28K 11月 24 17:38 NOTICE
-rw-r--r-- 1 weihu weihu  15K 11月 24 17:38 LICENSE
drwxr-xr-x 2 weihu weihu 4.0K 11月 24 17:48 licenses
drwxr-xr-x 3 weihu weihu 4.0K 11月 24 17:48 config
drwxr-xr-x 3 weihu weihu 4.0K 11月 24 17:48 bin
drwxr-xr-x 2 weihu weihu 4.0K 11月 24 17:48 site-docs
drwxr-xr-x 2 weihu weihu  12K  3月 22 10:57 libs

2.3.2 进入配置文件

注: Kraft模式的配置文件在config目录的kraft子目录下,修改时注意备份

# 全局配置文件
[weihu@wujj001 kafka-3.6.1]$ cd config/kraft/
[weihu@wujj001 kraft]$ ll -tr
总用量 24K
-rw-r--r-- 1 weihu weihu 6.2K 11月 24 17:38 server.properties
-rw-r--r-- 1 weihu weihu 5.6K 11月 24 17:38 controller.properties
-rw-r--r-- 1 weihu weihu 6.0K 11月 24 17:38 broker.properties
[weihu@wujj001 kraft]$ cp server.properties server.properties.bak

2.3.3 修改配置文件(11.0.1.131)

[weihu@wujj001 kraft]$cat /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#
# This configuration file is intended for use in KRaft mode, where
# Apache ZooKeeper is not present.
#

############################# Server Basics #############################

# 此服务器的角色。设置此项将进入KRaft模式(controller 相当于主机、broker 节点相当于从机,主机类似 zk 功能)
process.roles=broker,controller

# 节点 ID
node.id=1

# 全 Controller 列表
controller.quorum.voters=1@11.0.1.131:9093,2@11.0.1.136:9093,3@11.0.1.137:9093

############################# Socket Server Settings #############################

# 套接字服务器侦听的地址.
# 组合节点（即具有`process.roles=broker,controller`的节点）必须至少在此处列出控制器侦听器
# 如果没有定义代理侦听器，那么默认侦听器将使用一个等于java.net.InetAddress.getCanonicalHostName()值的主机名,
# 带有PLAINTEXT侦听器名称和端口9092
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
#不同服务器绑定的端口
listeners=PLAINTEXT://:9092,CONTROLLER://:9093

# 用于代理之间通信的侦听器的名称(broker 服务协议别名)
inter.broker.listener.name=PLAINTEXT

# 侦听器名称、主机名和代理将向客户端公布的端口.(broker 对外暴露的地址)
# 如果未设置，则使用"listeners"的值.
advertised.listeners=PLAINTEXT://11.0.1.131:9092

# controller 服务协议别名
# 控制器使用的侦听器名称的逗号分隔列表
# 如果`listener.security.protocol.map`中未设置显式映射，则默认使用PLAINTEXT协议
# 如果在KRaft模式下运行，这是必需的。
controller.listener.names=CONTROLLER

# 将侦听器名称映射到安全协议，默认情况下它们是相同的。(协议别名到安全协议的映射)有关更多详细信息，请参阅配置文档.
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL

# 服务器用于从网络接收请求并向网络发送响应的线程数
num.network.threads=3

# 服务器用于处理请求的线程数，其中可能包括磁盘I/O
num.io.threads=8

# 套接字服务器使用的发送缓冲区（SO_SNDBUF）
socket.send.buffer.bytes=102400

# 套接字服务器使用的接收缓冲区（SO_RCVBUF）
socket.receive.buffer.bytes=102400

# 套接字服务器将接受的请求的最大大小（防止OOM）
socket.request.max.bytes=104857600


############################# Log Basics #############################

# 存储日志文件的目录的逗号分隔列表(kafka 数据存储目录)
log.dirs=/home/weihu/kafka/data

# 每个主题的默认日志分区数。更多的分区允许更大的并行性以供使用，但这也会导致代理之间有更多的文件。
num.partitions=1

# 启动时用于日志恢复和关闭时用于刷新的每个数据目录的线程数。
# 对于数据目录位于RAID阵列中的安装，建议增加此值。
num.recovery.threads.per.data.dir=1

############################# Internal Topic Settings  #############################
# 组元数据内部主题"__consumer_offsets"和"__transaction_state"的复制因子
# 对于除开发测试以外的任何测试，建议使用大于1的值来确保可用性，例如3.
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

############################# Log Flush Policy #############################

# 消息会立即写入文件系统，但默认情况下，我们只使用fsync()进行同步
# 操作系统缓存延迟。以下配置控制将数据刷新到磁盘.
# 这里有一些重要的权衡:
#    1. Durability(持久性): 如果不使用复制，未清理的数据可能会丢失
#    2. Latency(延迟): 当刷新发生时，非常大的刷新间隔可能会导致延迟峰值，因为将有大量数据要刷新.
#    3. Throughput(吞吐量): 刷新通常是最昂贵的操作，较小的刷新间隔可能导致过多的寻道.
# 下面的设置允许配置刷新策略，以便在一段时间后或每N条消息（或两者兼有）刷新数据。这可以全局完成，并在每个主题的基础上覆盖

# 强制将数据刷新到磁盘之前要接受的消息数
#log.flush.interval.messages=10000

# 在我们强制刷新之前，消息可以在日志中停留的最长时间
#log.flush.interval.ms=1000

############################# Log Retention Policy #############################

# 以下配置控制日志段的处理。可以将该策略设置为在一段时间后删除分段，或者在累积了给定大小之后删除分段。
# 只要满足这些条件中的任意一个，segment就会被删除。删除总是从日志的末尾开始

# 日志文件因使用年限而有资格删除的最短使用年限
log.retention.hours=168

# 基于大小的日志保留策略。除非剩余的段低于log.retention.bytes，否则将从日志中删除段。独立于log.retention.hours的函数。
#log.retention.bytes=1073741824

# 日志segment文件的最大大小。当达到此大小时，将创建一个新的日志segment
log.segment.bytes=1073741824

# 检查日志segments以查看是否可以根据保留策略删除它们的间隔
log.retention.check.interval.ms=300000

# 筛选后配置文件
[weihu@wujj001 kraft]$ egrep -v "^$|^#" server.properties
process.roles=broker,controller
node.id=1
controller.quorum.voters=1@11.0.1.131:9093,2@11.0.1.136:9093,3@11.0.1.137:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
inter.broker.listener.name=PLAINTEXT
advertised.listeners=PLAINTEXT://11.0.1.131:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/weihu/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

2.3.4 其他节点

1 需要修改node.id ，这个不得重复

2 需要修改 advertised.listeners，这个是broker 对外暴露的地址，改成自己本机地址

其余和kafka01节点配置一样即可

11.0.1.136 - kafka02节点

[weihu@wujj002 kraft]$ egrep -v "^$|^#" server.properties
process.roles=broker,controller
node.id=2
controller.quorum.voters=1@11.0.1.131:9093,2@11.0.1.136:9093,3@11.0.1.137:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
inter.broker.listener.name=PLAINTEXT
advertised.listeners=PLAINTEXT://11.0.1.136:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/weihu/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

11.0.1.137 - kafka03节点

[weihu@wujj003 kraft]$ egrep -v "^$|^#" server.properties
process.roles=broker,controller
node.id=3
controller.quorum.voters=1@11.0.1.131:9093,2@11.0.1.136:9093,3@11.0.1.137:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
inter.broker.listener.name=PLAINTEXT
advertised.listeners=PLAINTEXT://11.0.1.137:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/weihu/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

3 初始化集群数据目录

3.1 首先生成存储目录唯一 ID

需要在启动服务器之前创建kafka集群id

[weihu@wujj001 ~]$ cd kafka/kafka-3.6.1/
[weihu@wujj001 kafka-3.6.1]$ bin/kafka-storage.sh random-uuid
FZ5SZ1xSSYK9vaeMMnmi9w

3.2 用该 ID 格式化 kafka 存储目录（每个节点都需要执行）

[weihu@wujj001 kafka-3.6.1]$ bin/kafka-storage.sh format -t FZ5SZ1xSSYK9vaeMMnmi9w -c /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties
Formatting /home/weihu/kafka/data with metadata.version 3.6-IV2.

[weihu@wujj002 kafka-3.6.1]$ bin/kafka-storage.sh format -t FZ5SZ1xSSYK9vaeMMnmi9w -c /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties
Formatting /home/weihu/kafka/data with metadata.version 3.6-IV2.

[weihu@wujj003 kafka-3.6.1]$ bin/kafka-storage.sh format -t FZ5SZ1xSSYK9vaeMMnmi9w -c /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties
Formatting /home/weihu/kafka/data with metadata.version 3.6-IV2.

5 启动集群

1 在节点上依次启动 Kafka

[weihu@wujj001 kafka-3.6.1]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

[weihu@wujj002 kafka-3.6.1]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

[weihu@wujj003 kafka-3.6.1]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

2 查看是否启动

[weihu@wujj001 kafka-3.6.1]$ jps
13475 Kafka
13548 Jps

[weihu@wujj002 kafka-3.6.1]$ jps
13142 Jps
13049 Kafka

[weihu@wujj003 kafka-3.6.1]$ jps
13308 Jps
13215 Kafka

6 测试集群

6.1 消费者端

6.1.1 进入kafka根目录

[weihu@wujj001 ~]$ cd /home/weihu/kafka/kafka-3.6.1/

6.1.2 创建一个topic主题

[weihu@wujj001 kafka-3.6.1]$ bin/kafka-topics.sh --bootstrap-server 11.0.1.136:9092 --create --topic wujunjie --partitions 3 --replication-factor 3

6.1.3 查看topic

[weihu@wujj001 kafka-3.6.1]$ bin/kafka-topics.sh --bootstrap-server 11.0.1.136:9092 --list
wujunjie

6.1.4 创建一个生产者

[weihu@wujj001 kafka-3.6.1]$ bin/kafka-console-producer.sh --bootstrap-server 11.0.1.136:9092 --topic wujunjie
>

6.2 消费者端

6.2.1 在其他节点创建一个消费者

[weihu@wujj002 ~]$ cd /home/weihu/kafka/kafka-3.6.1/
[weihu@wujj002 kafka-3.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server 11.0.1.131:9092 --topic wujunjie

[weihu@wujj003 kafka-3.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server 11.0.1.137:9092 --topic wujunjie

6.2.2 生产者开始发送数据

[weihu@wujj001 kafka-3.6.1]$ bin/kafka-console-producer.sh --bootstrap-server 11.0.1.136:9092 --topic wujunjie
>hello
>test
>

6.2.3 消费者消费数据

[weihu@wujj002 kafka-3.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server 11.0.1.131:9092 --topic wujunjie
hello
test

[weihu@wujj003 kafka-3.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server 11.0.1.137:9092 --topic wujunjie
hello
test

7 扩展

1 环境变量

1 新建kafka.sh
[weihu@wujj001 ~]$ sudo vim /etc/profile.d/kafka.sh
# KAFKA_HOME
export KAFKA_HOME=/home/weihu/kafka/kafka-3.6.1
export PATH=$PATH:$KAFKA_HOME/bin
2 授予文件执行权限
[weihu@wujj001 ~]$ sudo chmod u+x /etc/profile.d/kafka.sh
3 刷新环境变量
[weihu@wujj001 ~]$ source /etc/profile

2 kafka一键启停脚本

# 需要安装 expect
[root@wujj001 ~]$yum install -y expect
[weihu@wujj001 bin]$ expect -version
expect version 5.45.4

1 在家目录中创建一个bin目录
[weihu@wujj001 ~]$ mkdir bin
[weihu@wujj001 ~]$ echo $PATH
/home/weihu/.local/bin:/home/weihu/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/jdk17/jdk-17.0.10/bin:/home/jdk17/jdk-17.0.10/bin:/home/weihu/kafka/kafka-3.6.1/bin:/home/jdk17/jdk-17.0.10/bin

2 创建脚本
[weihu@wujj001 ~]$ vim /home/weihu/bin/kafka.sh
#!/bin/bash

host_passwd="redhat"

kafka_start() {
        for i in 11.0.1.131 11.0.1.136 11.0.1.137; do
                echo " --------启动 $i Kafka-------"
                expect -c "
                spawn ssh $i \"source /etc/profile;/home/weihu/kafka/kafka-3.6.1/bin/kafka-server-start.sh -daemon /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties\"
                expect {
                  \"connecting (yes/no)?\" { send \"yes\n\"; exp_continue }
                  \"password:\" { send \"${host_passwd}\n\"; exp_continue }
                }
              expect eof
          "
        done
}

kafka_stop() {
        for i in 11.0.1.131 11.0.1.136 11.0.1.137; do
                echo " --------停止 $i Kafka-------"
                expect -c "
                spawn ssh $i \"source /etc/profile;/home/weihu/kafka/kafka-3.6.1/bin/kafka-server-stop.sh\"
                expect {
                  \"connecting (yes/no)?\" { send \"yes\n\"; exp_continue }
                  \"password:\" { send \"${host_passwd}\n\"; exp_continue }
             }
           expect eof
         "
        done

}


if [ $# -lt 1 ]; then
        echo "No Args Input..."
        exit
fi


case $1 in
"start")
        kafka_start
;;
"stop")
        kafka_stop
;;
"restart")
        kafka_stop
        kafka_start
;;
*)
        echo "Input Args Error..."
        echo "$0 [start|stop|restart]..."
;;
esac

3 添加执行权限
[weihu@wujj001 ~]$ chmod +x /home/weihu/bin/kafka.sh

4 使用
[weihu@wujj001 ~]$ cd /home/weihu/bin/
[weihu@wujj001 bin]$ kafka.sh start/stop/status

W u 小杰

关注

14
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
Kafka 3.6.1 Kraft模式集群安装

1）缓存/消峰有助于控制和优化数据流经过系统的速度，解决和生产消息和消费者消息的处理速度不一致的情况2）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束3）异步通信允许用户把一个消息放入队列，但并不立即处理它，然后再需要的时候再去处理它们。
复制链接

扫一扫