Kafka集群操作

本文详细介绍了如何搭建一个包含三个broker的Kafka集群,涉及server.properties文件配置、启动broker、创建主题并设置分区数和副本数。重点讲解了leader、follower的角色以及主从选举机制。
摘要由CSDN通过智能技术生成

一.搭建kafka集群(三个broker)

==集群中有多个broker,创建主题时可以指明主题有多个分区(把消息拆分到不同的分区中存
储),可以为分区创建多个副本,不同的副本存放在不同的broker⾥,会有⼀个
副本作为leader,其他是follower。 ==

1. 创建三个server.properties⽂件

#0 1 2
broker.id=2
// 9092 9093 9094
listeners=PLAINTEXT://192.168.65.60:9094
//kafka-logs kafka-logs-1 kafka-logs-2
log.dir=/usr/local/data/kafka-logs-2

2.通过命令来启动三台broker

./kafka-server-start.sh -daemon ../config/server.properties
./kafka-server-start.sh -daemon ../config/server1.properties
./kafka-server-start.sh -daemon ../config/server2.properties

3.校验是否启动成功

进⼊到zk中查看/brokers/ids中 是否有三个znode(0,1,2)

二、创建主题,分区数以及副本

./kafka-topics.sh --create --zookeeper 172.16.253.35:2181 --replicationfactor
3 --partitions 2 --topic my-replicated-topic

#查看topic情况
./kafka-topics.sh --describe --zookeeper 172.16.253.35:2181 --topic myreplicated-topic

在这里插入图片描述

leader:
kafka的写和读的操作,都发⽣在leader上。leader负责把数据同步给follower。当leader挂
了,经过主从选举,从多个follower中选举产⽣⼀个新的leader
follower:
接收leader的同步的数据
isr:
可以同步和已同步的节点会被存⼊到isr集合中。这⾥有⼀个细节:如果isr中的节点性能
较差,会被提出isr集合

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值