超级会员免费看
本文探讨了在业务中确定Kafka集群机器数目的方法，强调单数原则。介绍了三种分区分配策略：RangeAssignor、RoundRobinAssignor和StickyAssignor，并讨论了它们的优缺点。此外，还涉及副本分配到broker的算法，以及如何根据分片数和整体节点数来计算最佳机器数目，以实现资源和流量的均衡。最后，给出了一个实际场景的计算示例，考虑了成本和流量需求。
前言：
如何在业务上敲定kafka的机器数目！
需要遵循的前提是，单数原则，就是zookeeper和broker的节点数目最好是单数！
分区分配给消费者有三个策略，默认是第一个。
RangeAssignor策略：
假设n=分区数/消费者数量，m=分区数%消费者数量，那么前m个消费者每个分配n+1个分区，后面的（消费者数量-m）个消费者每个分配n个分区。@hxx 针对于单个topic分区的分配，如果一个consumer同时订阅了多个topic，那么对于多个topic而言，某个consumer可能分配到的总分区数目会不平衡（超过1），所以可以使用RoundRobinAssignor策略。
RoundRobinAssignor策略
将消费组内订阅的所有Topic的分区及所有消费者进行排序后尽量均衡的分配（RangeAssignor是针对单个Topic的分区进行排序分配的）@hxx 就是将所有topic的分区放在一起来range，但是当有consumer下线也是会出现负载不均衡的！
StickyAssignor策略
第一次分配的时候遵循roundrobin策略，当有consumer变动时，以最小改动作为分配基准，仅仅对下线的consumer分配的分区重
订阅专栏 解锁全文
扫一扫
2466
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
