kafka 如何对 topic 分区 replica leader 进行负载均衡

点击上方蓝色“大数据实战演练”，选择“设为星标”或“置顶”

回复“资源”领取独家整理的学习资料！

每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。

放弃不难，但坚持很酷~

kafka：2.11-1.1.0

一、前言

在上一篇 《必会 | 教你如何重新分布kafka分区、增加分区副本数》文章中，描述了如何重新分配 kafka topic 分区以及增加分区副本数。在最后我留了一个小疑问，如果 kafka leader replica 不挂掉的话，如何选择某 replica 为指定leader 呢？

首先介绍一个概念，叫 preferred replica 。每个 partitiion 的所有 replicas 叫做 "assigned replicas" ，"assigned replicas"中的第一个 replicas 叫 "preferred replica"。

kafka 有提供这样的脚本：kafka-preferred-replica-election.sh，该工具可将每个分区的 Leader replica 转移回 “preferred replica”，它可用于平衡 kafka brokers 之间的 leader 。kafka replica leader 负责处理数据读写请求，如果都集成在一个 broker 上，这样会因为资源的不均衡使用，影响 kafka 效率。

二、使用

首先看一下 kafka-preferred-replica-election.sh 的参数介绍：

如果不指定 --path-to-json-file 参数的话，默认操作所有已存在的分区。

如果指定 --path-to-json-file 参数的话，是指定一个文件，文件内容为 json 格式。

./bin/kafka-preferred-replica-election.sh --zookeeper cdh-worker-1:2181/kafka --path-to-json-file xxx.json

三、示例

同样还是以 create17 这个 topic 为例，当前，该 topic 详情如下图所示：

Leader 都集中在了 broker 201 上，如果要使 leader replica 负载均衡的话，可以这样做：

创建 preferred-replica-election.json 文件，编辑如下内容，指定了要更改 leader replica 的分区号：

> cat preferred-replica-election.json
{"partitions":[{"topic":"create17","partition":0},{"topic":"create17","partition":1},{"topic":"create17","partition":2},{"topic":"create17","partition":3},{"topic":"create17","partition":4},{"topic":"create17","partition":5},{"topic":"create17","partition":6},{"topic":"create17","partition":7}]}

然后执行命令：

./bin/kafka-preferred-replica-election.sh --zookeeper cdh-worker-1:2181 --path-to-json-file preferred-replica-election.json

执行结果：

create17 详细信息为：

如上图所示，leader 已经做到了负载均衡了。Leader 的值就是 Replicas 列表值的第一个，也就是 preferred replica 。

欢迎大家留言讨论

???? ???? ????

往期推荐

必会 | 教你如何重新分布kafka分区、增加分区副本数

解惑 | 为什么我根据时间戳获得的offset为空呢？

实操 | kafka如何手动异步提交offset

两种实现方式 | 如何查看消费者组的消费情况

Kafka基础（二）：生产者相关知识汇总

Kafka基础（一）：基本概念及生产者、消费者示例

扫一扫，我们的故事就开始了。

如果这篇文章对你有所启发，点赞、转发都是一种支持！

让我知道你在看