kafka在rack间平衡replica

http://kafka.apache.org/documentation/#basic_ops_racks

本文来自于对kafka官方文档“Balancing Replicas Across Racks”的理解

 

rack感知特性 会将 *同一partition的*replica 分散到不同的rack上。该特性扩展了kafka为broker-failure所提供的保证，使其可以覆盖rack-failure，减少了 同一rack上所有broker同时失败会导致的数据丢失 的风险。该特性也可以应用到其他broker grouping上，例如aws上的EC2可用区。

可以通过 broker.rack 指定某个broker属于某个特定的rack。

当新建/修改 topic或重分布replica时，kafka会考虑 broker.rack 配置，确保 replica分散到尽量多的rack上，一定注意，是尽量在rack间，而不是broker间，平分replica。一个partition将横跨 min(racks, replication-factor) 个不同的rack。

不配置 broker.rack 时，分配replica到broker的算法确保每个broker上leader的个数（partition的leader的个数）是相同的，而不论broker在racks间如何分布。这确保了balanced throughput，即各个broker的吞吐是一样的。

配置 broker.rack 时，需要在rack之间平分所有replica，也就是“不管在rack上分配了几个broker，反正replica是按着rack无脑平分的”。正因为此，如果rack被分配了不同个数的broker，则，较少broker的rack（其replica并不少）将使用更多的storage，会把更多的资源用到replication上，这些broker的负担就会更重，当然负载也不均衡，所以，明智的做法是为每个rack配置同样数量的broker。

举个例子，假设2个rack，6个broker，100个replica（包括主和从）
replica会在rack间无脑平分，因此，rack1和rack2 各自分配50个replica
1. 如果rack1 和 rack2 都分配 3个broker，则：rack1上的每一个broker分配 50/3个replica，rack2上的每一个broker分配 50/3个replica。

2. 如果rack1 分配 5个broker，rack2 分配1个broker，则：rack1上的每一个broker分配 50/5个replica，rack2上的每一个broker分配 50/1个replica。也就是：具有较少broker的rack2其replica一点都不少，所以这些broker负担会更重，当然负载也不均衡。所以，明智的做法是为每个rack配置同样数量的broker。

 

实际操作下，看下面两个图

“不设置rack”，创建topic

 

 

“204,205设置broker.rack=rack204；206设置broker.rack=rack206”，创建topic

 

上两图说明：具有较少broker的rack206，其上replica一点都不少，所以这些broker（也就是brokerID 206）负担会更重，brokerID 206将使用更多的storage，会把更多的资源用到replication上，当然负载也不均衡。所以，明智的做法是为每个rack配置同样数量的broker

 

完