2018年07月_朱小厮

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Kafka分区分配策略（4）——分配的实施

接上文： 1.【Kafka分区分配策略（1）——RangeAssignor】 2.【Kafka分区分配策略（2）——RoundRobinAssignor和StickyAssignor】 3.【Kafka分区分配策略（3）——自定义分区分配策略](https://blog.csdn.net/u013256816/article/details/81123858)】分配的实施我们...

2018-07-19 22:25:45 2704 2

原创 Kafka分区分配策略（3）——自定义分区分配策略

接上文： 1.【Kafka分区分配策略（1）——RangeAssignor】 2.【Kafka分区分配策略（2）——RoundRobinAssignor和StickyAssignor】自定义分区分配策略读者不仅可以任意选用Kafka所提供的3种分配策略，还可以自定义分配策略来实现更多可选的功能。自定义的分配策略必须要实现org.apache.kafka.clients.consum...

2018-07-19 22:21:19 7813 2

原创 Kafka分区分配策略（2）——RoundRobinAssignor和StickyAssignor

接上文【Kafka分区分配策略（1）——RangeAssignor】RoundRobinAssignor分配策略RoundRobinAssignor策略的原理是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序，然后通过轮询方式逐个将分区以此分配给每个消费者。RoundRobinAssignor策略对应的partition.assignment.st...

2018-07-19 22:04:11 11306 25

原创 Kafka分区分配策略（1）——RangeAssignor

引言按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。假设目前某消费组内只有一个消费者C0，订阅了一个topic，这个topic包含7个分区，也就是说这个消费者C0订阅了7个分区，参考下图（1）。此时消费组内又加入了一个新的消费者C1，按照既定的逻辑需要将原来消费者C0的部分分区分配给消费者C1消费，情形上图（2），消费者C0...

2018-07-19 22:01:48 24581 10