kafka-broker-LeaderPartiion负载均衡

Kafka设计上会自动分布LeaderPartition以保持集群均衡,但broker宕机可能导致负载不均。参数如auto.leader.rebalance.enable控制自动重平衡,而leader.imbalance.per.broker.percentage定义了触发重平衡的阈值。然而,自动重平衡过程可能消耗大量时间,建议考虑手动干预。
摘要由CSDN通过智能技术生成

正常情况下,kafka 本身会自动把Leader Parition 均匀分布在各个机器上,来保证每台机器的读写吞吐量都是均匀的。但是如果某些borker 宕机了,会导致Leader Partition 过于集中在其他少部分几台broker上,这会导致少数borker的读写请求压力过高,其他宕机的Borker 重启之后都是Follwer Partition,读写请求底,造成集群负载不均衡。

  • auto.leader.rebablance.enable,默认是true.
    自动 leader partition平衡
  • leader.imlalance.per.broker.percentage, 默认是10%,每个broker允许的不平衡的leader的比率。如果每个broker超过这个值,控制器会触发leader 平衡。
  • leader.imbalance.check.interval.senconds,默认值300s,检查leader 负载是否均衡的间隔时间。

建议不要开启,自动 leaader partition平衡需要 耗费大量的时间。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值