Kafka的ReBalance机制和高水位机制

消费者Rebalance分区分配策略：

主要有三种rebalance的策略：

range、round-robin、sticky。

Kafka 提供了消费者客户端参数partition.assignment.strategy 来设置消费者与订阅主题之间的分区分配策略。默认情 况为range分配策略。

range 策略

就是按照分区序号排序，假设 n＝分区数／消费者数量 = 3， m＝分区数%消费者数量 = 1，那么前 m 个消 费者每个分配 n+1 个分区，后面的（消费者数量－m ）个消费者每个分配 n 个分区。 比如分区0~3给一个consumer，分区4~6给一个consumer，分区7~9给一个consumer。rebalance的时候会把所有的打乱重新打乱，重新分配。

round-robin 轮询策略

就是轮询分配，比如分区0、3、6、9给一个consumer，分区1、4、7给一个consumer，分区2、5、 8给一个consumer。rebalance的时候会把所有的打乱重新打乱，重新分配。

sticky 策略

初始时分配策略与round-robin类似，但是在rebalance的时候，需要保证如下两个原则。

1）分区的分配要尽可能均匀 。

2）分区的分配尽可能与上次分配的保持相同。

当两者发生冲突时，第一个目标优先于第二个目标 。这样可以最大程度维持原来的分区分配的策略。 比如对于第一种range情况的分配，如果第三个consumer挂了，那么重新用sticky策