【zookeeper&&kafka单机伪集群搭建，使用 kafka 3.2.0 自带的 3.6.3 zookeeper】

已于 2022-06-24 15:59:30 修改
阅读量574 收藏 6
点赞数
文章标签： kafka zookeeper
于 2022-06-24 11:27:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45590174/article/details/125441466
版权

zookeeper&&kafka单机伪集群搭建

版本说明

使用 kafka 3.2.0 自带的zookeeper，
zookeeper.version=3.6.3

一 zookeeper单机伪集群搭建

1.下载

使用清华镜像，比官网快
https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.2.0/

2.配置

#安装目录为 /usr/local/kafka/kafka_2.13-3.2.0
cd /usr/local
mkdir kafka
cd kafka
tar -zxf kafka_2.12-3.2.0.tgz
#进入配置文件目录 
cd /kafka_2.12-3.2.0/config
# 先编辑一份配置文件，复制两份配置文件，共三份三个节点
vim zookeeper.properties
mv zookeeper.properties zookeeper1.properties
cp zookeeper1.properties zookeeper2.properties
cp zookeeper1.properties zookeeper3.properties

#节点1配置文件
clientPort=2181
tickTime=2000
initLimit=10
syncLimit=5
server.1=127.0.0.1:2287:3387
server.2=127.0.0.1:2288:3388
server.3=127.0.0.1:2289:3389
dataDir=/usr/local/kafka/zk1/data
dataLogDir=/usr/local/kafka/zk1/logs
#2287，2288，2289为zookeeper节点之间的通信端口，3387，3388，3389为用来选举leader的端口
#clientPort=2181 才是往kafka中配置的端口，我踩坑了很久

#节点2配置文件
clientPort=2182
tickTime=2000
initLimit=10
syncLimit=5
server.1=127.0.0.1:2287:3387
server.2=127.0.0.1:2288:3388
server.3=127.0.0.1:2289:3389
dataDir=/usr/local/kafka/zk2/data
dataLogDir=/usr/local/kafka/zk2/logs

#节点3配置文件
clientPort=2183
tickTime=2000
initLimit=10
syncLimit=5
server.1=127.0.0.1:2287:3387
server.2=127.0.0.1:2288:3388
server.3=127.0.0.1:2289:3389
dataDir=/usr/local/kafka/zk3/data
dataLogDir=/usr/local/kafka/zk3/logs

#为节点配置不同的数据目录
cd /usr/local/kafka
#节点1
mkdir zk1
cd zk1 
mkdir data
cd data
echo 1 > myid
#节点2
mkdir zk2
cd zk2 
mkdir data
cd data
echo 2 > myid
#节点3
mkdir zk3
cd zk3 
mkdir data
cd data
echo 3 > myid

2.启动

#回到目录
cd /usr/local/kafka/kafka_2.13-3.2.0
#启动命令
#启动节点1
nohup ./bin/zookeeper-server-start.sh ./config/zookeeper1.properties > ../zk1/zk.log 2>&1 &
#间隔几秒后 启动节点2
nohup ./bin/zookeeper-server-start.sh ./config/zookeeper2.properties > ../zk2/zk.log 2>&1 &
#间隔几秒后 启动节点3
nohup ./bin/zookeeper-server-start.sh ./config/zookeeper3.properties > ../zk3/zk.log 2>&1 &
#通过查看 zk.log 查看启动日志
cat ../zk1/zk.log
cat ../zk2/zk.log
cat ../zk3/zk.log

二 zookeeper单机伪集群搭建

1.配置

#进入配置文件目录 
cd /usr/local/kafka/kafka_2.13-3.2.0/config
# 先编辑一份配置文件，复制两份配置文件，共三份三个节点
vim server.properties
mv server.properties server1.properties
cp server1.properties server2.properties
cp server1.properties server3.properties

#节点1配置文件
# broker 的全局唯一编号，不能重复，只能是数字。
broker.id=1
# kafka监听的ip，端口
listeners=PLAINTEXT://127.0.0.1:8880
# 处理网络请求的线程数量
num.network.threads=3
# 用来处理磁盘 IO 的线程数量
num.io.threads=8
# 发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
############################# Log Basics #############################
# kafka 数据存放的路径，可以配置多个磁盘路径，路径与路径之间可以用","分隔
log.dirs=/usr/local/kafka/kafka_logs/broker1_8880
# topic在当前broker上的分区个数
num.partitions=1
# 用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
############################# Internal Topic Settings  #############################
# 每个topic创建时的副本数，默认是1个副本
offsets.topic.replication.factor=1
############################# Log Retention Policy #############################
# segment文件保留的最长时间，超时将被删除
log.retention.hours=168
# 每个segment文件的大小，默认最大1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认5分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#自动创建topic
auto.create.topics.enable=true
#允许永久删除topic
delete.topic.enable=true
############################# Zookeeper #############################
#配置连接 Zookeeper 集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka

#节点2配置文件
# broker 的全局唯一编号，不能重复，只能是数字。
broker.id=2
# kafka监听的ip，端口
listeners=PLAINTEXT://127.0.0.1:8881
# 处理网络请求的线程数量
num.network.threads=3
# 用来处理磁盘 IO 的线程数量
num.io.threads=8
# 发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
############################# Log Basics #############################
# kafka 数据存放的路径，可以配置多个磁盘路径，路径与路径之间可以用","分隔
log.dirs=/usr/local/kafka/kafka_logs/broker2_8881
# topic在当前broker上的分区个数
num.partitions=1
# 用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
############################# Internal Topic Settings  #############################
# 每个topic创建时的副本数，默认是1个副本
offsets.topic.replication.factor=1
############################# Log Retention Policy #############################
# segment文件保留的最长时间，超时将被删除
log.retention.hours=168
# 每个segment文件的大小，默认最大1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认5分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#自动创建topic
auto.create.topics.enable=true
#允许永久删除topic
delete.topic.enable=true
############################# Zookeeper #############################
#配置连接 Zookeeper 集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka

#节点3配置文件
# broker 的全局唯一编号，不能重复，只能是数字。
broker.id=3
# kafka监听的ip，端口
listeners=PLAINTEXT://127.0.0.1:8882
# 处理网络请求的线程数量
num.network.threads=3
# 用来处理磁盘 IO 的线程数量
num.io.threads=8
# 发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
############################# Log Basics #############################
# kafka 数据存放的路径，可以配置多个磁盘路径，路径与路径之间可以用","分隔
log.dirs=/usr/local/kafka/kafka_logs/broker3_8882
# topic在当前broker上的分区个数
num.partitions=1
# 用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
############################# Internal Topic Settings  #############################
# 每个topic创建时的副本数，默认是1个副本
offsets.topic.replication.factor=1
############################# Log Retention Policy #############################
# segment文件保留的最长时间，超时将被删除
log.retention.hours=168
# 每个segment文件的大小，默认最大1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认5分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#自动创建topic
auto.create.topics.enable=true
#允许永久删除topic
delete.topic.enable=true
############################# Zookeeper #############################
#配置连接 Zookeeper 集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka

2.启动

cd /usr/local/kafka/kafka_2.13-3.2.0/
#启动kafka集群
nohup ./bin/kafka-server-start.sh ./config/server1.properties > kafka1.log 2>&1 &
#间隔几秒后 启动节点2
nohup ./bin/kafka-server-start.sh ./config/server2.properties > kafka2.log 2>&1 &
#间隔几秒后 启动节点3
nohup ./bin/kafka-server-start.sh ./config/server3.properties > kafka3.log 2>&1 &
#查看启动日志
cat kafka1.log
cat kafka2.log
cat kafka3.log

2.测试

#新建topic，可以更换为集群中任意IP
sh bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server 127.0.0.1:8880
#开启生产者端,输入进行生产
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server 127.0.0.1:8880
#另外打开一个终端，开启监听端，观察是否输入了生产端的消息
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server 127.0.0.1:8880
松韬
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
KAFKA集群安装与配置（带Zookeeper）2023版
harryxia2014的博客
02-26 1642
主要内容 1、JDK1.8安装配置 2、ZooKeeper3.81安装配置 3、kafka3.4安装配置
kafka_2.12-3.1.0集群安装配置（zookeeper-3.6.3）
Sakura__huiliyi的博客
03-15 2567
文章目录安装kafka_2.12-3.1.0安装环境安装步骤1、下载安装包2、修改配置文件修改server.properties添加环境变量3、启动kafka 安装kafka_2.12-3.1.0 安装环境 CentOS版本：7.9 Hadoop集群版本：hadoop-2.10.1 zookeeper集群版本：zookeeper-3.6.3 jdk版本：jdk1.8.0_261 scala版本：2.12.11 集群一共三个节点，名称分别是node01,node02,node03 这里我选的是比较新的版本，此
zookeeper 伪集群(本地window)搭建3.6.0
For_That的博客
05-10 282
1：首先去下载 zookeeperhttps://zookeeper.apache.org/releases.html#download 2：解压
kafka和zookeeper对应版本
qq_33528402的博客
01-07 5741
kafka和zookeeper对应版本 kafka zookeeper springboot kafka_2.12-2.4.0 zookeeper-3.5.6 kafka_2.12-2.3.1 zookeeper-3.4.14 springboot2.2.2 kafka_2.12-2.3.0 zookeeper-3.4.14 springboot2.2.2 kafka_2.12-1.1.1 zookeeper-3.4.10 kafka_2.12-1.1.0 zookeep
zookeeper伪集群搭建
carbuser_xl的博客
06-01 291
zookeeper作为一款分布式协调中间件，其重要性不言而喻，因此需要保证其高可用性。所以一般都会搭建zookeeper集群，今天我们在一台服务器上搭建伪集群。 首先，需要准备zookeeper的安装包，从官网自行下载，上传到云服务器上或者自己的虚拟机上。我选择上传到/user/local/zk目录下。请选择bin.tar.gz结尾的文件，tar.gz文件需要自己进行编译之后才能使用。 解压压缩文件到同级目录 进入apache-zookeeper-3.6.3-bin，目录展示如下 重点关注bin和co
Docker搭建Zookeeper&Kafka集群的实现
09-29
主要介绍了Docker搭建Zookeeper&Kafka集群的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
kafka+zookeeper高可用集群搭建shell使用脚本
02-22
kafka+zookeeper高可用集群搭建shell使用脚本，直接在linux运行就行
基于Zookeeper搭建Kafka高可用集群
08-09
基于Zookeeper搭建Kafka高可用集群
docker 部署Kafka +zookeeper bitnami（解决 unkonw host xxxxxxxx）
xiaopang5678的博客
11-10 4490
docker部署bitnami/kafka 可以先去docker 仓库 下载最新docker-compose.yaml 附上我用的 version: "2" services: zookeeper: image: docker.io/bitnami/zookeeper:3.7 container_name: zookeeper ports: - "2181:2181" volumes: - "zookeeper_data:/D/progra.
kafka3.6.0集群部署
lx_1314的博客
11-03 1492
kafka3.6.0集群部署
centos上的kafka集群搭建
zhang5324496的博客
12-14 1581
kafka在linux centos的集群安装部署
Linux 搭建Kafka集群，最新教程，细到极致
gubeichengxuyuan的博客
06-01 5098
Linux 搭建Kafka集群，最新教程，细到极致
Kafka+Zookeeper单机初步搭建
Peter的博客
08-31 6456
Kafka+Zookeeper单机初步搭建 1：前期软件准备 Zookeeper： zookeeper-3.4.8.tar.gz Kafka： kafka_2.12-0.10.2.1.tgz 默认 配置好了java环境。   2：单机器Zookeeper搭建   Kafka集群是把相关的服务状态保存在Zookeeper里面的。所以要事先搭建Zookeeper 本次搭建过程中，...
Kafka基于Zookeeper搭建高可用集群实战
qq_36306519的博客
04-28 997
Kafka基于Zookeeper搭建高可用集群实战
kafka集群环境搭建
Mr.理的博客
02-15 178
kafka集群环境搭建
kafka中zk的作用
maoyeqiu的专栏
10-24 6947
zk相当于是kafka的一个基础设施，了解zk在kafka中的作用，可以对kafka的原理有进一步的了解，现在就开始学习这块的内容，首先从controller看起，这是zk中一个重要的组成：Controller 作为 Kafka Server端一个重要的组件，它的角色类似于其他分布式系统Master的角色，跟其他系统不一样的是，Kafka集群的任何一台Broker都可以作为Controller，但...
window安装 Zookeeper 和 Kafka
m0_50163856的博客
08-19 121
Zookeeper 下载 http://zookeeper.apache.org/releases.html 解压 我解压到E:\apache目录下 修改文件目录 a.在 E:\apache\apache-zookeeper-3.6.3 创建两个目录 data，log b.进入E:\apache\apache-zookeeper-3.6.3\conf，复制 zoo_sample.cfg 并粘贴重命名为zoo.cfg c.进入 zoo.cfg 更改： dataDir=E:/apache/apach
kafka3.6.0部署
最新发布
m0_37749659的博客
12-03 1621
该命令的目的是启动一个 Kafka 生产者，将消息发送到 luo 主题，并使用 192.168.1.60:9092 作为 Kafka 集群的地址。下载https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz。上面的案例启动了1个生产者，2个消费者。但同一时刻只有一个消费者接收到生产者的消息，不可能2个消费者同时接收到生产者发送的消息哟~添加修改端口 这个是jmx的端口，后面的监控要用到。安装数据库创建数据库授权。
确定kafka对应的zookeeper版本
dkz97的博客
12-12 3309
kafka寻找zookeeper版本
zookeeper,kafka集群搭建，基础命令及kafka监控指南
10-15
好的，关于zookeeper和kafka集群搭建，可以分为以下几个步骤： 1. 安装zookeeper和kafka 2. 配置zookeeper集群 3. 配置kafka集群 4. 启动zookeeper集群 5. 启动kafka集群 基础命令如下： 1. 启动zookeeper：bin/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值