kafka集群中的controller、rebalance、HW

1.controller

问：集群中谁来充当controller？
答：每个broker启动时会向zk创建⼀个临时序号节点，获得的序号最⼩的那个broker将会作为集群中的controller，负责这么⼏件事：
      1）当集群中有⼀个副本的leader挂掉，需要在集群中选举出⼀个新的leader，选举的规则是从isr集合中最左边获得。
      2）当集群中有broker新增或减少，controller会同步信息给其他broker。
      3）当集群中有分区新增或减少，controller会同步信息给其他broker。

2.rebalance机制

前提：消费组中的消费者没有指明分区来消费
触发的条件：当消费组中的消费者和分区的关系发⽣变化的时候
分区分配的策略：在rebalance之前，分区怎么分配会有这么三种策略：
          1）range：根据公式计算得到每个消费者消费哪⼏个分区：前⾯的消费者是分区总数/消费者数量+1, 之后的消费者是分区总数/消费者数量
          2）轮询： ⼤家轮着来
          3）sticky：粘合策略，如果需要rebalance，会在之前已分配的基础上调整，不会改变之前的分配情况。如果这个策略没有开，那么就要进⾏全部的重新分配。建议开启。

3.HW和LEO

LEO：是某个副本最后消息的消息位置（log-end-offset）
HW：是已完成同步的位置。

          消息在写⼊broker时，且每个broker完成这条消息的同步后，hw才会变化。

          在这之前消费者是消费不到这条消息的。

          在同步完成之后，HW更新之后，消费者才能消费到这条消息，

         这样的⽬的是防⽌消息的丢失。