设计方案 | Kafka如何指定分区副本为Leader

 大家好,我是石臻臻,这是 「kafka专栏」 连载中的第「N」篇文章...

 

前几天有个群友问我: kafka如何修改优先副本？ 他们有个需求是, 想指定某个分区中的其中一个副本为Leader

在这里插入图片描述

需求分析

对于这么一个问题,在我们生产环境还是挺常见的,经常有需要修改某个Topic中某分区的Leader 比如 topic1-0这个分区有3个副本[0,1,2], 按照「优先副本」的规则,那么 0 号副本肯定就是Leader了 我们都知道分区中的只有Leader副本才会提供读写副本,其他副本作为备份 假如在某些情况下,「0」 号副本性能资源不够,或者网络不太好,或者IO压力比较大,那么肯定对Topic的整体读写性能有很大影响, 这个时候切换一台压力较小副本作为Leader就显得很重要;

优先副本: 分区中的AR(所有副本)信息, 优先选择排在第一位的副本作为Leader Leader机制: 分区中只有一个Leader来承担读写,其他副本只是作为备份

那么如何实现这样一个需求呢？

解决方案

知道了原理之后,我们就能想到对应的解决方案了 只要将 分区的 AR 中的第一个位置,替换成你指定副本就行了; AR = { 0,1,2 } ==> AR = {2,1,0}

一般能够达到这个目的有两种方案，下面我们来分析一下

方案一: 分区副本重分配

之前关于分区副本重分配 我已经写过很多文章了,如果想详细了解 分区副本重分配、数据迁移、副本扩缩容 可以看看链接的文章, 这里我就简单说一下;

一般分区副本重分配主要有三个流程

1. 生成推荐的迁移Json文件
2. 执行迁移Json文件
3. 验证迁移流程是否完成

这里我们主要看第2步骤, 来看看迁移文件一般是什么样子的

{

 "version": 1,

 "partitions": [{

  "topic": "topic1",

  "partition": 0,

  "r