Kafka控制器

本文探讨了Kafka控制器与Zookeeper的关系,强调了控制器在Kafka集群中的重要角色。控制器依赖Zookeeper进行管理和协调,负责关键任务如分区领导选举。新版本的Kafka通过优化降低了对Zookeeper的依赖,避免了不必要的Watcher唤醒和性能问题。文章还介绍了控制器的选举过程以及优化措施,包括单线程处理和Zookeeper异步操作。
摘要由CSDN通过智能技术生成
1.Zookeeper

Zookeeper对Kafka集群的管理操作主要是用了它的两个功能

  • 节点(临时节点【zookeeper重启删除】持久节点)
  • watch机制

老版本的劣势(完全使用Zookeeper进行管理):

Zookeeper进行完全进行kafka集群管理的劣势:

  • 完全依赖于Zookeeper进行管理,每个Broker会在Zookeeper上为分区和副本注册大量的Watcher。当分区和副本发生变化的时候,会唤醒很多不必要的Watcher。会造成脑裂、羊群的效应。
  • 会造成Zookeeper过载的隐患。

新版本的kafka使用了Controller只有Controller在zk上注册Watcher,其他的Broker极少需要在Zk上注册监听器,仅仅需要注册/controller监听器,去确定为一的activeControler即可。

2. Kafka Controller

首先即使是新版版的Kafka集群是比较依赖于Zookeeper的管理的,Kafka实现了Controller仅仅是对(kafka 控制器)Zookeeper的劣势进行了优化。

连接Zookeeper集群

./zkClient.sh server 127.0.0.1:2181

可以查看到当前Zookeeper下管控的节点。

  • 4
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值