生产者的分发策略
何为生产者的数据分发策略呢?
指的就是生产者生产的消息,是如何保存到具体分区上
分发策略:
-
1- 随机分发策略:将消息发到到随机的某个分区上,还是发送到Leader主副本上。Python支持,Java不支持
-
2- 指定分区策略:将消息发到指定的分区上面。Python支持,Java支持
-
3- Hash取模策略:对消息的key先取Hash值,再和分区数取模。Python支持,Java支持
-
4- 轮询策略:在Kafka的2.4及以上版本,已经更名成粘性分发策略。Python不支持,Java支持
-
5- 自定义分发策略:Python支持,Java支持
指定分区或者key
通过send方法指定分区转发
furture = producer.send( topic='test', value=f"binge is handsome{i}".encode("utf-8"), partition=1 # 指定分区发送 )
furture = producer.send( topic='test', value=f"binge is handsome{i}".encode("utf-8"), key="kafka_key" # 指定key发送 )
指定分区的优先级大于指定key
注意: 当在发送数据的时候, 如果只传递了topic 和 value没有指定partition和key的时候, 那么此时就采用随机策略,
内置的分区器
分区器负责决定当数据来时,这个数据被分发至哪个分区
消费者的负载均衡
负载均衡机制
Kafka集群中每分钟新产生400条数据,下游的一个消费者每分钟能够处理400条数据。
随着业务发展,Kafka集群中每分钟新产生1200条数据,下游的一个消费者每分钟能够处理400条数据。
答:会导致broker中积压的消息条数越来越多,造成消息处理不及时。可以增加消费者数量,并且将这些消费者放到同一个消费组当中
随着业务发展,Kafka集群中每分钟新产生1600条数据,下游的一个消费者每分钟能够处理400条数据。
答:会导致broker中积压的消息条数越来越多,造成消息处理不及时。再增加消费组中消费者的个数已经无法解决问题。
如何解决:
1- 增加消费组中消费者的个数
2- 提高下游消费者对消息的处理效率
Kafka消费者的负载均衡机制 1- 在同一个消费组中,一个Topic中一个分区的数据,只能被同个消费组中的一个消费者所消费,不能被同个消费组中多个消费者所消费。但是一个消费组内的一个消费者可以消费多个分区的数据。也就是分区和消费者的对应关系,多对一 2- 在同一个消费组中,消费者的个数最多不能超过Topic的分区数。如果超过了,就会有一些消费者处于闲置状态,消费不到任何数据。 3- 不同的消费组中的消费者,可以对一个Topic的数据同时消费,也就是不同消费组间没有任何关系。也就是Topic的数据能够被多个消费组中的消费者重复消费。
消费者组与分区
-
查看当前消费者组列表
/export/server/kafka/bin/kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --list
-
查看消费者组详情信息
/export/server/kafka/bin/kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --group g_1 --describe
场景一:三个分区,一个消费者组里有一个消费者
1- 在同一个消费组中,一个Topic中一个分区的数据,只能被同个消费组中的一个消费者所消费,不能被同个消费组中多个消费者所消费。但是一个消费组内的一个消费者可以消费多个分区的数据。也就是分区和消费者的对应关系,多对一
所有的分区都由这个一个消费进行消费
场景二:三个分区,一个消费者组里有四个消费者
2- 在同一个消费组中,消费者的个数最多不能超过Topic的分区数。如果超过了,就会有一些消费者处于闲置状态,消费不到任何数据。
-
规则:同一个分区只能分配给一个消费者组内的一个消费者消费
-
划分分区时最好保证消费者的数量与分区相等
-
当消费者数据大于分区数量时,肯定有消费者空闲
场景三:三个分区,两个消费者组分别有四个消费者
3- 不同的消费组中的消费者,可以对一个Topic的数据同时消费,也就是不同消费组间没有任何关系。也就是Topic的数据能够被多个消费组中的消费者重复消费。