Kafka-之Consumer客户端与分区分配策略

Kafka-之Consumer客户端与分区分配策略

与KafkaProducer向对应的是KafkaConsumer，用来消费kafka topic中的消息，但是于生产者而言，消费者这里有一个消费者组的概念,在消费的时候通过group.id指定。

整个Consumer的客户端架构图如下：

每个消费者组可以同时消费相同的topic分区数据，但是互不影响，但是一个分区下的数据在同一个消费者组中只能被一个消费者消费；下面就讲讲kafka消费者的分区分配策略。

1 分区分配策略

kafka消费者的分区分配策略通过partition.assignment.strategy或者consumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG来指定。kafka的支持的分区分配策略有3种：

• RangeAssignor (org.apache.kafka.clients.consumer)
• RoundRobinAssignor (org.apache.kafka.clients.consumer)
• StickyAssignor (org.apache.kafka.clients.consumer)

1.1 RangeAssignor

该分区分配策略为默认的策略，是基于不同的topic进行分配的，假如这里有2个topic，每个topic有3个分区，分别表示为

t0p0,t0p1,t0p2

t1p0,t1p1,t1p2

假如此时有2个消费者，c1，c2，首先分别通过分区数量3/消费者数量2=1，且余数为1，那么判定每个消费者至少分配一个分区的数据 ，余下的分区数量分配给第一个分区，这样其实容易造成数据倾斜的现象。

通过该分配策略最终的分配结果为：

c1(t0p0,t0p1,t1p0,t1p1) , c2(t0p2,t1p2)

具体的分配如下：

1.2 RoundRobinAssignor

轮循的分配方式如下分为2种情况：

• 每个消费者订阅的主题数量是一样的

  假如当前有2个主题t0,t1,每个主题3个分区t0p0,t0p1,t0p2,t1p0,t1p1,t1p2,此时有2个订阅完全一致的consumer c1,c2来消费t0,t1的数据，那么最终的分配结果如下：

  c1(t0p0,t0p2,t1p1)

  c2(t0p1,t1p0,t1p2)

• 每个消费者订阅的主题数量是不一样的

  假如当前有3个主题t0,t1,t2每个主题2个分区t0p0,t0p1,t1p0,t1p1,t2p0,t1p1,此时有3个消费者，消费者订阅的c0 subsribe t0,c1 subscribe t0 t1,c2 subscribe t0,t1,t2；相同的topic只会对订阅的消费者进行轮循，此时不同topic的订阅情况如下：

  t0 :c0,c1,c2

  t1:c1,c2

  t2:c2

  最终的分配结果如下：

  c0(t0p0)

  c1(t0p1,t1p1)

  c2(t1p0,t2p0,t2p1)

  很明显此时的分配是不均衡的。

1.3 StickyAssignor

该分配策略的宗旨有2个：

• 保证分区分配得尽可能平衡；
• 在分区需要重新分配时(添加、减少consumer)，它尽可能保存原有的分配不动，节省由于partition从一个consumer移动到另一个consumer产生的性能开销。

具体的该策略详情可以参考官网API:StickyAssignor