# Kafka_深入探秘者（9）：kafka 集群管理

于 2024-06-28 09:30:00 发布
阅读量1k 收藏 20
点赞数 29
分类专栏： 消息中间件-Kafka 文章标签： kafka 消息中间件kafka Java-Kafka Kafka集群搭建 Zookeeper集群搭建 spring cloud spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qfyh_djh/article/details/140000943
版权

Kafka_深入探秘者（9）：kafka 集群管理

一、kafka 集群概述

1、kafka 集群概述：

  • 集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。

  • 集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。

  • 集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比
    单个计算机，比如工作站或超级计算机性能价格比要高得多。

2、集群的特点

集群拥有以下两个特点:

  • 1.可扩展性; 集群的性能不限制于单一的服务实体，新的服务实体可以动态的添加到集群，从而增强集群的性能。
  • 2.高可用性: 集群当其中一个节点发生故障时，这台节点上面所运行的应用程序将在另一台节点被自动接管，消除单点故障对于增强数据可用性、可达性和可靠性是非常重要的。

3、集群的能力

  • 1.负载均衡: 负载均衡把任务比较均匀的分布到集群环境下的计算和网络资源，以提高数据吞吐量。
  • 2.错误恢复: 如果集群中的某一台服务器由于故障或者维护需要无法使用，资源和应用程序将转移到可用的集群节点上。这种由于某个节点的资源不能工作，另一个可用节点中的资源能够透明的接管并继续完成任务的过程，叫做错误恢复。

4、负载均衡 和 错误恢复要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图必须是相同的。

5、集群使用场景

Kafka 是一个分布式消,息系统，具有高水平扩展和高吞吐量的特点。在 Kafka 集群中，没有“中心主节点”的概念,集群中所有的节点都是对等的。

在这里插入图片描述

6、Broker(代理)

每个 Broker 即一个 Kafka 服务实例，多个 Broker 构成一个 Kafka集群，生产者发布的消,息将保存在 Broker中，消费者将从 Broker 中拉取消息进行消费。

kafka集群架构图.png

从上图中可以看出 Kafka 强依赖于 ZooKeeper ，通过 ZooKeeper 管理自身集群，如:Broker 列表管理、Partition 与 Broker的关系、Partition 与 Consumer 的关系、Producer 与 Consumer 负载均衡、消费进度 Offset 记录、消费者注册等，所以为了达到高可用，ZooKeeper 自身也必须是集群。

二、kafka 集群搭建 zookeeper

1、kafka 集群搭建 zookeeper

真实的集群环境需要部署在不同的服务器上的，测试启动多个虚拟机的内存消耗太大，
所以通常会搭建伪集群，也就是把所有服务搭建在一台虚拟机上，用端口进行区分。

2、下载安装 JDK ，并配置环境变量，查询 JDK 是否安装配置成功


- 下载 JDK 

- 1.  JDK-7 下载：
http://jdk.java.net/java-se-ri/7

- 2.  JDK-8 下载：
https://jdk.java.net/java-se-ri/8-MR5

- 3.  JDK-9 下载：
http://jdk.java.net/java-se-ri/9

- 4.  JDK-10 下载：
http://jdk.java.net/java-se-ri/10

- 5.  JDK-11 下载：
http://jdk.java.net/java-se-ri/11

- 6.  JDK-12 下载：
http://jdk.java.net/java-se-ri/12


# 打开环境变量文件，配置JDK

sudo vim /etc/profile 

# 添加 jdk 环境变量配置

# 你的 jdk 安装路径（java 默认安装路径：/usr/lib/jvm/java-8-openjdk-amd64/ ）
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME-${JAVA_HOME}/jre
export PATH=S{JAVA_HOME}/bin:$PATH


# 配置完 JDK 记得断开连接重新连接 或者重启系统。

# 测试 jdk 是否安装配置成功
java -version

3、下载安装 Zookeeper 并上传 zookeeper 压缩包至服务器上。

1）zookeeper-3.6.3.tar.gz下载地址：
https://archive.apache.org/dist/zookeeper/zookeeper-3.6.3/

ZooKeeper 官网: http://zookeeper.apache.org
https://github.com/apache/zookeeper/tags?after=release-3.8.0-1

2）Alt+P 进入 SFTP, 输入：put (yourpath) 上传，
（如：d:\zookeeper-3.6.3.tar.gz 为本地存放路径）

或者：rz 上传。

4、将 zookeeper 解压到 /usr/local/zookeeper 目录下。


# 切换目录：
cd /usr/local

# 创建 zookeeper 目录：
sudo mkdir zookeeper 

cd  /usr/local/zookeeper/

# 解压即安装
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz -C /usr/local/zookeeper/

5、修改 Zookeeper 的配置文件，首先进入安装路径 conf 目录，并将 zoo_sample.cfg 文件修改为 zoo.cfg，并对核心参数进行配置。文件内容如下:


# 切换目录
cd /usr/local/zookeeper/apache-zookeeper-3.6.3-bin/conf/

# 将 zoo_sample.cfg 文件修改为 zoo.cfg
mv zoo_sample.cfg zoo.cfg

# 对核心参数进行配置
vim zoo.cfg


# The number of milliseconds of each tick
#zk服务器的心跳时间
tickTime-2080
# The number of ticks that the initial
#synchronization phase can take
#投票选举新Leader的初始化时间
initlimit=10
# The number of ticks that can pass between
# sendidg a request and getting an acknowledgementsyncLimit-5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.

# 数据目录(需要新建 data 此目录)
dataDir=/usr/local/zookeeper/apache-zookeeper-3.6.3-bin/data

# 日志目录
dataLogDir=/usr/local/zookeeper/apache-zookeeper-3.6.3-bin/log

# the port at which the clients will connect
#Zookeeper对外服务端口，保持默认
clientPort-2181

6、复制 /usr/local/zookeeper/apache-zookeeper-3.6.3-bin/ 三份，并分别改名为：zk-01, zk-02, zk-03


# 切换目录
cd /usr/local/zookeeper/

# 复制 zookeeper 三份并更名
cp -rf apache-zookeeper-3.6.3-bin ./zk-01 
cp -rf apache-zookeeper-3.6.3-bin ./zk-02 
cp -rf apache-zookeeper-3.6.3-bin ./zk-03

7、配置每一个 zookeeper 的 dataDir(zoo.cfg)，clientPort 端口 分别为 2181 2182 2183

# 切换目录
cd /usr/local/zookeeper/

# 打开并编辑配置文件 zoo.cfg 
vim zk-01/zoo.cfg

dataDir=/usr/local/zkcluster/zk-01/data
clientPort=2181
:wq (保存并退出)

# 打开并编辑配置文件 zoo.cfg 
vim zk-02/zoo.cfg

dataDir=/usr/local/zkcluster/zk-02/data
clientPort=2182

# 打开并编辑配置文件 zoo.cfg 
vim zk-03/zoo.cfg

dataDir=/usr/local/zkcluster/zk-03/data
clientPort=2183

8、zookeeper 配置集群

1）在每个 zookeeper 的 data 目录下创建一个 myid 文件，内容分别是 1，2，3
这个文件就是记录每个服务器的ID


# 切换目录
cd /usr/local/zookeeper/

vim zk-01/myid
1
:wq 

vim zk-02/myid
2
:wq 

vim zk-03/myid
3
:wq

2）在每一个zookeeper的 zoo.cfg 配置客户端访问端口（clientPort）和集群服务器IP列表
server.服务器ID=服务器IP地址：服务器之间通信端口：服务器之间投票选举端口


# 切换目录
cd /usr/local/zookeeper/

vim zk-01/conf/zoo.cfg 
vim zk-02/conf/zoo.cfg 
vim zk-03/conf/zoo.cfg 

# 文件末尾都添加: 
server.1=172.19.206.8:2881:3881
server.2=172.19.206.8:2882:3882
server.3=172.19.206.8:2883:3883

 :wq (保存并退出)

9、启动集群：

依次启动三个 zookeeper 实例，其中有一个 leader 和两个 follower 。


# 切换目录
cd /usr/local/zookeeper/

# 启动 Zookeeper
zk-01/bin/zkServer.sh start
zk-02/bin/zkServer.sh start
zk-03/bin/zkServer.sh start

# 查询 zookeeper 是否启动成功
ps -ef | grep zookeeper 

# 或者 
jps -l

# 查看启动状态
zk-01/zkServer.sh status
zk-02/zkServer.sh status
zk-03/zkServer.sh status

Mode: follower
Mode: leader
Mode: follower

# 关闭 zookeeper 
zk-01/zkServer.sh stop
zk-02/zkServer.sh stop
zk-03/zkServer.sh stop

三、kafka 集群搭建

1、拷贝三份 kafka_2.12-2.8.0 分别命名为：kafka-01, kafka-02, kafka-03


# 切换目录
cd /usr/local/kafka/

# 拷贝三份 kafka_2.12-2.8.0 分别命名为：kafka-01, kafka-02, kafka-03
cp -rf kafka_2.12-2.8.0 ./kafka-01 
cp -rf kafka_2.12-2.8.0 ./kafka-02
cp -rf kafka_2.12-2.8.0 ./kafka-03

2、修改 kafka-01 的配置文件 kafka/kafka-01/config/server.properties

broker.id=0, log.dirs=/usr/local/kafka/kafka-01/logs, port=9092


# 切换目录
cd /usr/local/kafka/

# 修改 kafka-01 的配置文件 kafka-01/config/server.properties
vim kafka-01/config/server.properties

# 修改以下几个配置：

broker.id=0 
log.dirs=/usr/local/kafka/kafka-01/logs 
# listeners=PLAINTEXT://localhost:9092
# host.name=localhost
# port=9092

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
listeners=PLAINTEXT://172.18.30.110:9092

# 修改 zookeeper 地址为集群
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
zookeeper.connect=172.18.30.110:2181,172.18.30.110:2182,172.18.30.110:2183

3、修改 kafka-02 的配置文件 kafka/kafka-02/config/server.properties

broker.id=1, log.dirs=/usr/local/kafka/kafka-02/logs, port=9093


# 切换目录
cd /usr/local/kafka/

# 修改 kafka-02 的配置文件 kafka-02/config/server.properties
vim kafka-02/config/server.properties

# 修改以下几个配置：

broker.id=1 
log.dirs=/usr/local/kafka/kafka-02/logs 
# listeners=PLAINTEXT://localhost:9093
# host.name=localhost
# port=9093

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
listeners=PLAINTEXT://172.18.30.110:9093

# 修改 zookeeper 地址为集群
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
zookeeper.connect=172.18.30.110:2181,172.18.30.110:2182,172.18.30.110:2183

4、修改 kafka-03 的配置文件 kafka/kafka-03/config/server.properties

broker.id=2, log.dirs=/usr/local/kafka/kafka-03/logs, port=9094


# 切换目录
cd /usr/local/kafka/

# 修改 kafka-03 的配置文件 kafka-03/config/server.properties
vim kafka-03/config/server.properties

# 修改以下几个配置：

broker.id=2 
log.dirs=/usr/local/kafka/kafka-03/logs 
# listeners=PLAINTEXT://localhost:9094
# host.name=localhost
# port=9094

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
listeners=PLAINTEXT://172.18.30.110:9094

# 修改 zookeeper 地址为集群
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
zookeeper.connect=172.18.30.110:2181,172.18.30.110:2182,172.18.30.110:2183

5、删除 kafka 三个节点 kafka-01, kafka-02, kafka-03 以前的日志文件。

删除命令：rm -rf logs/*


# 切换目录
cd /usr/local/kafka/

# 删除 节点1：kafka-01 以前的日志文件
rm -rf kafka-01/logs/* 

# 删除 节点2：kafka-02 以前的日志文件
rm -rf kafka-02/logs/* 

# 删除 节点3：kafka-03 以前的日志文件
rm -rf kafka-03/logs/*

6、启动 kafka 三个节点 kafka-01, kafka-02, kafka-03

启动命令：bin/kafka-server-start.sh config/server.properties


# 切换目录
cd /usr/local/kafka/

# 启动 节点1：kafka-01
kafka-01/bin/kafka-server-start.sh kafka-01/config/server.properties

# 启动 节点2：kafka-02 
kafka-02/bin/kafka-server-start.sh kafka-02/config/server.properties

# 启动 节点3：kafka-03 
kafka-03/bin/kafka-server-start.sh kafka-03/config/server.properties

四、kafka 集群同步总结

MirrorMaker 是为解决 Kafka 跨集群同步、创建镜像集群而存在的。
下图展示了其工作原理。该工具消费源集群消息然后将数据重新推送到目标集群。

在这里插入图片描述

上一节关联链接请点击

# Kafka_深入探秘者（8）：kafka 高级应用

段子手-168
关注
  • 29
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Kafka集群
你知道的越多，你不知道的越多
12-11 1563
Kafka集群 Kafka与Zookeeper 控制器是重度依赖 ZooKeeper 的，Apache ZooKeeper 是一个提供高可靠性的分布式协调服务框架。它使用的数据模型类似于文件系统的树形结构，根目录也是以“/”开始。该结构上的每个节点被称为 znode，用来保存一些元数据协调信息。 如果以 znode 持久性来划分，znode 可分为持久性 znode 和临时 znode。持久性 znode 不会因为 ZooKeeper 集群重启而消失，而临时 znode 则与创建该 znode 的 ZooK
ansible-apps_kafka_exporter:Kafka Prometheus Exporter通过Ansible安装
05-10
Ansible角色：ansible-apps_kafka_exporter描述 部署以将kafka指标暴露给prometheus。角色变量名称默认值描述kafka_exporter_version 1.2.0 kafka_exporter版本kafka_exporter_temp_dir / tmp 临时目录以解压缩包...
kafka集群
技术那点事
12-25 346
1、kafka单点安装，参考另一篇 2、这里介绍kafka集群的配置 配置文件介绍 zookeeper集群安装 #/usr/local/kafka/config #vim zookeeper.properties # 创建myid文件 dataDir=/tmp/zookeeper # the port at which the clients will connect cl
kafka集群介绍
unschooledrat的博客
05-03 2551
Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于 Zookeeper 协调的分布式消息中间件系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于 hadoop 的批处理系统、低延迟的实时系统、Spark/Flink 流式处理引擎，nginx 访问日志，消息服务等等，用 scala 语言编写，消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。
Kafka从入门到学废（二）——Kafka集群
爱清清的专栏
07-21 246
目录集群部署配置准备启动集群节点创建集群Topic测试验证发布消息消费消息容错测试 上一章介绍了Kafka单机的部署和常用命令，这一章我们将在此基础上介绍Kafka的集群应用 集群部署 本文使用单台服务器的不同端口模拟集群，如果多台服务器真实环境可以修改配置IP为对应服务器IP即可 配置准备 # 复制多两个配置文件 cp config/server.properties config/server-cluster-1.properties cp config/server.properties conf
Apache Kafka 3.2.0 (Scala 2.13 ：kafka_2.13-3.2.0.tgz)
06-12
Apache Kafka 3.2.0 (Scala 2.13 ：kafka_2.13-3.2.0.tgz) 是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。) 是一个开源分布式事件流平台，被数千家公司用于高...
Apache Kafka 3.2.0 (Scala 2.12 ：kafka_2.12-3.2.0.tgz)
06-12
Apache Kafka 3.2.0 (Scala 2.12 ：kafka_2.12-3.2.0.tgz) 是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。) 是一个开源分布式事件流平台，被数千家公司用于高...
flink-connector-kafka_2.11-1.7.1-API文档-中英对照版.zip
07-14
赠送jar包：flink-connector-kafka_2.11-1.7.1.jar； 赠送原API文档：flink-connector-kafka_2.11-1.7.1-javadoc.jar； 赠送源代码：flink-connector-kafka_2.11-1.7.1-sources.jar； 赠送Maven依赖信息文件：flink-...
kafka_2.12-3.3.1.tgz
10-04
这个压缩包包含了运行和管理Kafka集群所需的所有组件和配置文件。 Kafka的核心特性包括： 1. **高吞吐量**: Kafka能够在单个服务器上处理数十万条消息每秒，这得益于其基于磁盘的数据存储方式和优化的I/O操作。它...
kafka-集群搭建
小城我家
11-16 257
集群搭建 分配三台Linux，用于安装拥有三个节点的Kafka集群。 linux141(192.168.181.141) linux142(192.168.181.142) linux144(192.168.181.144) 以上三台主机的/etc/hosts配置： 192.168.181.141-linux140 192.168.181.142-linux141 192.168.181.144-linux144 安装zookeeper # 解压到/opt目录 tar -zxf zookeeper-3.4
kafka集群搭建
weixin_38472804的博客
10-29 205
1.1 ZooKeeper 集群介绍： ZooKeeper 集群中的所有机器通过一个 Leader 选举过程来选定一台称为 “Leader” 的机器，Leader 既可以为客户端提供写服务又能提供读服务。除了 Leader 外， Follower 和 Observer 都只能提供读服务。Follower 和 Observer 唯一的区别 在于 Observer 机器不参与 Leader 的选举过程，也不参与写操作的“过半写成功” 策略，因此 Observer 机器可以在不影响写性能的情况下提升集群的读性能。
【Kafka】Kafka集群安装
后端研发工程师Marion的博客
10-05 138
一、参考资料 【尚硅谷】2021新版电商数仓V4.0丨大数据数据仓库项目实战_哔哩哔哩_bilibili
kafka学习七：kafka之集群篇
szq18545570866qq的博客
11-11 399
目录 掌握Kafka集群部署 了解Kafka集群高层架构 掌握Kafka集群多项核心特性 Kafka集群部署 Kafka天然支持集群 Kafka集群依赖于Zookeeper进行协调 Kafka主要通过brokerId区分不同节点 复制kafka副本[root@localhost install]# mv kafka_2.11-2.4.0 kafka_1/ [root@localhost install]# cp -r kafka_1/ kafka_2/ [root@localhost install]
kafka简单集群搭建
weixin_44736318的博客
12-22 264
在搭建集群之前先准备下所需要的插件以及服务 因为这里是搭建集群模式 故采用了三个虚拟机作为演示 vm1 : 192.168.2.129 vm2: 192.168.2.130 vm3: 192.168.2.131 准备： 1.1 jdk 环境 1.2 kafka_2.12-2.0.0 版本 1.3 zookeeper-3.4.14.tar 在搭建kafka集群之前先搭建zookeeper集群。 我这里采用的是外部zookeeper 没有采用kafka自带的。因.
Kafka集群搭建
夫唯不争，故天下莫能与之争。
11-27 704
kafka是基于zookeeper的，但是zookeeper不一定要集群的，单机的也可以，以集群的为例 同单机修改kafka配置文件server.properties 将原来的localhost修改为集群zookeeper的地址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 在三台机器上启
kafka集群3节点搭建
allen的博客
01-12 4001
kafka版本：kafka_2.11-0.9.0.1.tgz下载地址：点击下载kafka_2.11-0.9.0.1.tgzkafka安装节点： cdhnode3 192.168.80.138 cdhnode4 192.168.80.139 cdhnode5 192.168.80.140zookeeper所在节点 cdhnode1 192.168.80.136 cdhnode2 1
version: '3' services: zookeeper: image: wurstmeister/zookeeper:latest ports: - 12181:2181 container_name: zookeeper tty: true restart: alwaysversion: '3' services: kafka01: image: wurstmeister/kafka:latest ports: - 19092:9092 environment: - KAFKA_BROKER_ID=0 - KAFKA_ZOOKEEPER_CONNECT=192.168.233.129:12181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.233.129:19092 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 container_name: kafka01 tty: true restart: always 这两天帮我整合在一起
最新发布
07-12
Certainly! Here's the combined `docker-compose.yml` file for both ZooKeeper and Kafka: ```yaml version: '3' services: zookeeper: image: wurstmeister/zookeeper:latest ports: - 12181:2181 container_name: zookeeper tty: true restart: always kafka01: image: wurstmeister/kafka:latest ports: - 19092:9092 environment: - KAFKA_BROKER_ID=0 - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka01:19092 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 container_name: kafka01 depends_on: - zookeeper tty: true restart: always ``` In this configuration, both ZooKeeper and Kafka are defined as separate services within the same `docker-compose.yml` file. The Kafka service depends on the ZooKeeper service using the `depends_on` keyword. You can save this content into a file named `docker-compose.yml` and run `docker-compose up -d` to start both containers.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段子手-168

你的鼓励将是我你的创作最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值