Kafka(三) 集群环境搭建

已于 2022-02-24 20:36:57 修改
阅读量141 收藏 1
点赞数
分类专栏： 消息队列 文章标签： kafka zookeeper
于 2021-09-23 23:18:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44244088/article/details/120445420
版权

Kafka 集群环境搭建

最好参考之前的单机版本一起学习

准备三台虚拟机

1. 环境准备

先把单机版本的虚拟机克隆出三台 环境基本都是有的，下面就是修改软件里面的配置； 修改IP

第一台

[root@localhost package]# java -version
java version "1.8.0_51"
Java(TM) SE Runtime Environment (build 1.8.0_51-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)
[root@localhost package]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.141.131  netmask 255.255.255.0  broadcast 192.168.141.255
        inet6 fe80::9be5:3c62:732d:29cd  prefixlen 64  scopeid 0x20<link>
        inet6 fe80::e063:9e44:5283:b012  prefixlen 64  scopeid 0x20<link>
        inet6 fe80::e126:19f1:2090:3682  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:91:5a:19  txqueuelen 1000  (Ethernet)
        RX packets 653  bytes 143724 (140.3 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 208  bytes 21087 (20.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 68  bytes 5920 (5.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 68  bytes 5920 (5.7 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

第二台

[root@localhost ~]# java -version
java version "1.8.0_51"
Java(TM) SE Runtime Environment (build 1.8.0_51-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)
[root@localhost ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.141.132  netmask 255.255.255.0  broadcast 192.168.141.255
        inet6 fe80::9be5:3c62:732d:29cd  prefixlen 64  scopeid 0x20<link>
        inet6 fe80::e126:19f1:2090:3682  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:89:8d:46  txqueuelen 1000  (Ethernet)
        RX packets 933  bytes 226961 (221.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 188  bytes 18301 (17.8 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 68  bytes 5920 (5.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 68  bytes 5920 (5.7 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

第三台

[root@localhost ~]# 
[root@localhost ~]# java -version
java version "1.8.0_51"
Java(TM) SE Runtime Environment (build 1.8.0_51-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)
[root@localhost ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.141.133  netmask 255.255.255.0  broadcast 192.168.141.255
        inet6 fe80::9be5:3c62:732d:29cd  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:57:64:6d  txqueuelen 1000  (Ethernet)
        RX packets 1854  bytes 400234 (390.8 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 501  bytes 80498 (78.6 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 68  bytes 5920 (5.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 68  bytes 5920 (5.7 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

2. 配置hosts 文件

三台使用一个配置文件

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.141.131 CentOSA
192.168.141.132 CentOSB
192.168.141.133 CentOSC

##复制到其他两台
scp /etc/hosts  CentOSB:/etc/
scp /etc/hosts  CentOSC:/etc/

3.关闭防火墙

[root@localhost package]# systemctl stop firewalld
[root@localhost package]# systemctl disable firewalld

4.时钟同步

时钟的头部服务器地址:net[1-7].aliyun.com

[root@localhost ~]# yum install ntp -y
[root@localhost package]# ntpdate ntp1.aliyun.com
22 Sep 23:09:25 ntpdate[1975]: adjust time server 120.25.115.20 offset 0.000890 sec
[root@localhost package]# clock -w

5.安装zookeeper

修改zoo.cfg文件

##和单机版本一样  需要手动创建这个文件夹
dataDir=/package/zkdata
.......
# 集群配置  集群的每个电脑都这样配置
server.1=CentOSA:2888:3888
server.2=CentOSB:2888:3888
server.3=CentOSC:2888:3888

###
[root@CentOSA conf]# scp zoo.cfg CentOSB:/package/zookeeper/conf/
root@centosb's password: 
zoo.cfg                                                        100% 1019     1.1MB/s   00:00    
[root@CentOSA conf]# scp zoo.cfg CentOSC:/package/zookeeper/conf/
root@centosc's password: 
zoo.cfg

根据zoo.cfg 在dataDir 对应的文件夹中创建文件 保存id

##第一台电脑
[root@CentOSA zkdata]# echo 1 > /package/zkdata/myid
##第二台电脑
[root@CentOSB conf]# echo 2 > /package/zkdata/myid
##第三台电脑
[root@CentOSC ~]# echo 3 > /package/zkdata/myid

6.启动zookeeper

第一台

[root@CentOSA zkdata]# /package/zookeeper/bin/zkServer.sh  start /package/zookeeper/conf/zoo.cfg JMX enabled by default
Using config: /package/zookeeper/conf/zoo.cfg
Starting zookeeper ... STARTED
##集群其他还没有开
[root@CentOSA zkdata]# /package/zookeeper/bin/zkServer.sh  status /package/zookeeper/conf/zoo.cfg 
JMX enabled by default
Using config: /package/zookeeper/conf/zoo.cfg
Error contacting service. It is probably not running.
##集群其他打开
[root@CentOSA zkdata]# /package/zookeeper/bin/zkServer.sh  status /package/zookeeper/conf/zoo.cfg 
JMX enabled by default
Using config: /package/zookeeper/conf/zoo.cfg
Mode: follower

第二台

[root@CentOSB conf]# /package/zookeeper/bin/zkServer.sh  start /package/zookeeper/conf/zoo.cfg
JMX enabled by default
Using config: /package/zookeeper/conf/zoo.cfg
Starting zookeeper ... STARTED
[root@CentOSB conf]# /package/zookeeper/bin/zkServer.sh  status /package/zookeeper/conf/zoo.cfg
JMX enabled by default
Using config: /package/zookeeper/conf/zoo.cfg
Mode: leader

第三台

[root@CentOSC ~]# /package/zookeeper/bin/zkServer.sh  start /package/zookeeper/conf/zoo.cfg
JMX enabled by default
Using config: /package/zookeeper/conf/zoo.cfg
Starting zookeeper ... STARTED
[root@CentOSC ~]# /package/zookeeper/bin/zkServer.sh  status /package/zookeeper/conf/zoo.cfg
JMX enabled by default
Using config: /package/zookeeper/conf/zoo.cfg
Mode: follower

7.安装Kafka

第一台

# see kafka.server.KafkaConfig for additional details and defaults  不需要修改  因为是第一个
broker.id=0

##修改配置文件 server.properties  CentOSC 是本机
listeners=PLAINTEXT://CentOSA:9092
## 同单机版
log.dirs=/package/kfkdata
############################# Zookeeper #############################
zookeeper.connect=CentOSA:2181,CentOSB:2181,CentOSC:2181

第二台

# see kafka.server.KafkaConfig for additional details and defaults  不需要修改  因为是第一个
broker.id=1

##修改配置文件 server.properties  CentOSC 是本机
listeners=PLAINTEXT://CentOSB:9092
## 同单机版
log.dirs=/package/kfkdata
############################# Zookeeper #############################
zookeeper.connect=CentOSA:2181,CentOSB:2181,CentOSC:2181

第三台

# see kafka.server.KafkaConfig for additional details and defaults  不需要修改  因为是第一个
broker.id=2

##修改配置文件 server.properties  CentOSC 是本机
listeners=PLAINTEXT://CentOSC:9092
## 同单机版
log.dirs=/package/kfkdata
############################# Zookeeper #############################
zookeeper.connect=CentOSA:2181,CentOSB:2181,CentOSC:2181

8.启动Kafka

./bin/kafka-server-start.sh -daemon config/server.properties

注意：中间由于把kafka单机的包直接拷贝过来，里面有原来单机版本跑过的数据，导致起不来

Kafka：Configured broker.id 2 doesn't match stored broker.id 0 in meta.properties.

解决方案 修改 server.properties 中的log.dirs文件夹下面的文件：meta.properties 中的 broker.id 的值为 server.properties 里面配置的broker.id 一样就可以了

9.创建topic

./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --create --topic topic02 --partitions 3 --replication-factor 2

###查看创建状态
[root@CentOSC kafka]# ./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --list
__consumer_offsets
topic01
topic02

10.查看节点分区和备份

topic = topic02

可以看到有3个分区 每个分区保存了2份 ,查看分区日志 log.dirs 属性的目录

第一台

topic02-0
topic02-2

第二台

topic02-1
topic02-2

第三台

topic02-0
topic02-1

也可以使用命令直接查看

[root@CentOSC kafka]# ./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --describe --topic topic02
Topic:topic02	PartitionCount:3	ReplicationFactor:2	Configs:segment.bytes=1073741824
	Topic: topic02	Partition: 0	Leader: 0	Replicas: 0,2	Isr: 0,2
	Topic: topic02	Partition: 1	Leader: 2	Replicas: 2,1	Isr: 2,1
	Topic: topic02	Partition: 2	Leader: 1	Replicas: 1,0	Isr: 1,0

11.修改分区

注意：kafka 的分区修改只能添加不能减少

###新建测试分区
[root@CentOSC kafka]# ./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --create --topic topic03 --partitions 2 --replication-factor 2

###减少分区数直接保错
[root@CentOSC kafka]# ./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --alter --topic topic03 --partitions 1 
Error while executing topic command : org.apache.kafka.common.errors.InvalidPartitionsException: Topic currently has 2 partitions, which is higher than the requested 1.
[2021-09-26 22:01:32,110] ERROR java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.InvalidPartitionsException: Topic currently has 2 partitions, which is higher than the requested 1.
	at org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow(KafkaFutureImpl.java:45)
	at org.apache.kafka.common.internals.KafkaFutureImpl.access$000(KafkaFutureImpl.java:32)
	at org.apache.kafka.common.internals.KafkaFutureImpl$SingleWaiter.await(KafkaFutureImpl.java:89)
	at org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:260)
	at kafka.admin.TopicCommand$AdminClientTopicService.alterTopic(TopicCommand.scala:200)
	at kafka.admin.TopicCommand$.main(TopicCommand.scala:62)
	at kafka.admin.TopicCommand.main(TopicCommand.scala)
Caused by: org.apache.kafka.common.errors.InvalidPartitionsException: Topic currently has 2 partitions, which is higher than the requested 1.
##增加成功
[root@CentOSC kafka]# ./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --alter --topic topic03 --partitions 3 

###删除分区
[root@CentOSC kafka]# ./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --delete --topic topic01
[root@CentOSC kafka]# ./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --list
__consumer_offsets
topic02
topic03
[root@CentOSC kafka]# ./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --delete --topic topic03
[root@CentOSC kafka]# ./bin/kafka-topics.sh  --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --list
__consumer_offsets
topic02
[root@CentOSC kafka]# 
###查看日志  日志标记-deleted 被删除的记录
topic03-1.4cf1e9b30311405798b8697b0fcb838a-delete
topic03-2.d7ed36451e8849e0958cdb9dcb811c1e-delete

12.开始消费

##生产者
[root@CentOSB kafka]# ./bin/kafka-console-producer.sh  --broker-list CentOSA:9092,CentOSB:9092,CentOSC:9092 --topic topic02
>nihapo^H^H^H
>nihao
>11111
>22222
>33333
>4444
>2
>2
>
##消费者
[root@CentOSA kafka]# ./bin/kafka-console-consumer.sh --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --topic topic02 
null,nihapo
null,nihao
null,11111
null,22222
null,33333
null,4444
null,2
null,2

13.查看分组信息

##查看所有分组
[root@CentOSC kafka]# ./bin/kafka-consumer-groups.sh --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --list
g2

##查看指定分组的信息
[root@CentOSC kafka]# ./bin/kafka-consumer-groups.sh --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 --describe --group g2

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                     HOST             CLIENT-ID
topic02         0          3               3               0               consumer-1-9a0b8a26-e792-4e77-9a85-77a8bc3efc60 /192.168.141.131 consumer-1
topic02         1          3               3               0               consumer-1-9a0b8a26-e792-4e77-9a85-77a8bc3efc60 /192.168.141.131 consumer-1
topic02         2          2               2               0               consumer-1-9a0b8a26-e792-4e77-9a85-77a8bc3efc60 /192.168.141.131 consumer-1
C0oOder
关注
专栏目录
Kafka三节点集群搭建
江晓龙的博客
06-27 1万+
可以看到集群中zookeeper-1节点是Follower角色，zookeeper-2节点是Leader角色，zookeeper-3节点是Follower角色，正就验证了我们起那么说的那句话，当ServerID大并且投票超过半数则当选Leader节点，zookeeper-2节点启动后，ServerID最大，并且zookeeper-1和zookeeper-2都投了投票，票数也超过了集群数量的半数以上，因此当选成功。到此为止每个节点都配置完成了，下面进行集群模式的配置。
Kafka学习（三）：Kafka集群环境搭建
wzc8961661的博客
03-18 2014
学习目标初始化环境准备下载安装包并上传解压node01服务器修改 kafka 配置文件安装包分发到其他服务器（node02，node03）node02 与 node03 服务器修改配置文件kafka 集群启动与停止 初始化环境准备 安装 JDK 安装JDK参考链接： 安装 Zookeeper ，并保证 zk 服务正常启动 安装Zookeeper参考链接： 下载安装包并上传解压 node01 执...
Kafka —3、 kafka集群搭建
小小小猿
01-03 370
见kafka — 2、基础环境搭建（1）方式1：在3台服务器内单独创建一个节点（2）方式2：在1台服务器中创建3个server.properties配置，多次根据不同的配置文件启动节点# 0 1 2进入到zookeeper的bin目录中。
kafka3.3.2集群搭建
最新发布
cangt的博客
06-07 443
添加 -Djava.security.auth.login.config=/opt/kafka/config/kafka_server_jaas.conf。KafkaClient这个名称不能变，保持大小严格。注意事项：kafka需要在zookeeper后面启动。配置中的username和password为。”不能少且位置不能变。中配置的user_开头的用户及对。重启验证所有配置是否正常。
kafka3.0集群搭建
weixin_44320761的博客
11-25 2878
`简介` Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 `功能` 1、要发布（写）和订阅（读）流事件。 2、存储持久和可靠的事件流。 3、在事件发生时或追溯性地处理事件流。 `特性` 1、通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 2、高吞吐量 3、支持通过Kafka服务器和消费机集群来分区消息。 1、环
Kafka3.0.0版本——集群部署（linux环境-centos7）
小志的博客
03-27 1369
Kafka3.0.0版本——集群部署（linux环境-centos7）
kafka集群环境搭建
小尾寒羊的博客
07-28 516
一、搭建Zookeeper集群环境 首先搭建Zookeeper集群环境，可以参考我前面的博客Zookeeper集群环境搭建 二、搭建kafka集群 1、进入到/usr/local目录 cd /usr/local 2、下载卡夫卡安装包 wget http://mirror.bit.edu.cn/apache/kafka/2.1.1/kafka_2.11-2.1.1.tgz 3、解压并重命名 tar ...
docker容器中搭建kafka集群环境.doc
11-07
docker容器中搭建kafka集群环境，kafka集群配置注意事项与优化
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
kafka集群搭建文档
05-31
本篇文档将详细介绍如何在Linux环境中搭建Kafka集群，同时结合Hadoop和Spark的分布式安装，构建一个完整的数据处理平台。 首先，搭建Kafka集群的基础条件包括： 1. 至少一台Linux服务器，但为了高可用性，推荐多台...
快速部署单机kafka集群（win环境）
08-03
本文不讲kafka集群原理，只谈部署步骤。 默认读者已对kafka有最基本的认知，纯粹作为部署笔记，方便回忆。 另外本文是基于Windows部署的，Linux的步骤是基本相同的（只是启动脚本位置不同）。 kafka集群类型： ...
kafka3.0集群搭建过程
dhaibo1986的专栏
11-03 3096
1.环境说明 服务器资源规划如下表: IP hostname 部署资源 192.168.162.201 m162p201 zookeeper,kafka 192.168.162.202 m162p202 zookeeper,kafka 192.168.162.203 m162p203 zookeeper,kafka 操作系统版本(三个节点均相同)： [root@m162p201 software]# lsb_release -a LSB Version: :core-4.1
kafka集群搭建
卿着飞翔
06-22 635
一，服务器准备 1，准备在下面三个服务搭建kafka的三节点集群 192.168.1.195 192.168.1.196 192.168.1.197 2，通过xftp把资源文件夹的kafka_2.11-2.0.1.zip 上传到服务器的/u02目录下。每一个服务器都执行。 二，安装过程 1，kafka需要java8环境，这个需要提前准备java8环境。 2，进入到/u02目录下，把安装包解压，每一个服务器都执行。 unzip kafka_2.11-2.0.1.zip 3，进入/u02/kafka_2.
部署一个3节点的Kafka集群
l6xy6的博客
01-20 1493
Java下载官网。
基于docker的kafka3.0集群配置(Kraft模式)
weixin_44320761的博客
09-16 3402
基于docker的kafka3.0集群配置(Kraft模式)
学生党易学易接受的kafka集群的搭建（三台）
m0_58046550的博客
11-20 513
学生党易学易接受的kafka集群的搭建（三台），kafka是什么：一个分布式的基于发布/订阅模式的消息队列，可水平扩展和高吞吐率
Kafka3.2.3（KRaft）基于Linux的集群安装
yangkei
09-23 2076
Kafka3.2.3基于Linux的集群安装
Kafka 集群部署（3.0.0 入门版）
weixin_46376562的博客
09-27 784
kafka 3.0.0 集群部署 适合新手入门
kafka 3.1.0集群搭建
persistence_PSH的博客
05-02 1976
共采用三台虚拟机来组成kafka集群 先找到kafka的安装目录 cd /usr/local/kafka 进入config目录，修改server.properties cd config/ vim server.properties 主要修改三处配置 按 i 进入编辑模式，/进行搜索，n搜索的下一项，N搜索的上一项 第一个是broker.id，需要保证集群中每一个节点的id唯一 第二个是isteners=PLAINTEXT://192.168.158.139:9092，这里的ip就是你的虚拟机i
CentOS环境下Kafka分布式集群详细搭建指南
这个过程涵盖了Kafka集群搭建的基础步骤，但实际部署中还需要考虑更多的因素，如安全性、监控、数据备份与恢复策略、高可用性和性能优化等。此外，随着Kafka版本的更新，配置细节可能会有所变化，因此建议参考最新的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值