摸鱼大数据——Kafka——Kafka核心概念三

生产者的分发策略

何为生产者的数据分发策略呢?

 指的就是生产者生产的消息，是如何保存到具体分区上

分发策略：

• 1- 随机分发策略：将消息发到到随机的某个分区上，还是发送到Leader主副本上。Python支持，Java不支持

• 2- 指定分区策略：将消息发到指定的分区上面。Python支持，Java支持

• 3- Hash取模策略：对消息的key先取Hash值，再和分区数取模。Python支持，Java支持

• 4- 轮询策略：在Kafka的2.4及以上版本，已经更名成粘性分发策略。Python不支持，Java支持

• 5- 自定义分发策略：Python支持，Java支持

指定分区或者key

通过send方法指定分区转发

 furture = producer.send(
         topic='test',
         value=f"binge is handsome{i}".encode("utf-8"),
         partition=1  # 指定分区发送
     )

 furture = producer.send(
         topic='test',
         value=f"binge is handsome{i}".encode("utf-8"),
         key="kafka_key" # 指定key发送
     )

指定分区的优先级大于指定key

注意: 当在发送数据的时候, 如果只传递了topic 和 value没有指定partition和key的时候, 那么此时就采用随机策略,

内置的分区器

分区器负责决定当数据来时，这个数据被分发至哪个分区

消费者的负载均衡

负载均衡机制

Kafka集群中每分钟新产生400条数据，下游的一个消费者每分钟能够处理400条数据。

随着业务发展，Kafka集群中每分钟新产生1200条数据，下游的一个消费者每分钟能够处理400条数据。
答：会导致broker中积压的消息条数越来越多，造成消息处理不及时。可以增加消费者数量，并且将这些消费者放到同一个消费组当中

随着业务发展，Kafka集群中每分钟新产生1600条数据，下游的一个消费者每分钟能够处理400条数据。
答：会导致broker中积压的消息条数越来越多，造成消息处理不及时。再增加消费组中消费者的个数已经无法解决问题。

如何解决：
    1- 增加消费组中消费者的个数
    2- 提高下游消费者对消息的处理效率

 Kafka消费者的负载均衡机制
 1- 在同一个消费组中，一个Topic中一个分区的数据，只能被同个消费组中的一个消费者所消费，不能被同个消费组中多个消费者所消费。但是一个消费组内的一个消费者可以消费多个分区的数据。也就是分区和消费者的对应关系，多对一
 2- 在同一个消费组中，消费者的个数最多不能超过Topic的分区数。如果超过了，就会有一些消费者处于闲置状态，消费不到任何数据。
 3- 不同的消费组中的消费者，可以对一个Topic的数据同时消费，也就是不同消费组间没有任何关系。也就是Topic的数据能够被多个消费组中的消费者重复消费。

消费者组与分区

• 查看当前消费者组列表

 /export/server/kafka/bin/kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --list

• 查看消费者组详情信息

 /export/server/kafka/bin/kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --group g_1 --describe

场景一：三个分区，一个消费者组里有一个消费者

1- 在同一个消费组中，一个Topic中一个分区的数据，只能被同个消费组中的一个消费者所消费，不能被同个消费组中多个消费者所消费。但是一个消费组内的一个消费者可以消费多个分区的数据。也就是分区和消费者的对应关系，多对一

所有的分区都由这个一个消费进行消费

场景二：三个分区，一个消费者组里有四个消费者

2- 在同一个消费组中，消费者的个数最多不能超过Topic的分区数。如果超过了，就会有一些消费者处于闲置状态，消费不到任何数据。

• 规则：同一个分区只能分配给一个消费者组内的一个消费者消费

• 划分分区时最好保证消费者的数量与分区相等

• 当消费者数据大于分区数量时，肯定有消费者空闲

场景三：三个分区，两个消费者组分别有四个消费者

3- 不同的消费组中的消费者，可以对一个Topic的数据同时消费，也就是不同消费组间没有任何关系。也就是Topic的数据能够被多个消费组中的消费者重复消费。