kafka
文章平均质量分 86
Ccccccc牛逼
这个作者很懒,什么都没留下…
展开
-
Kafka的事务
幂等性生产者在进行重试的时候有可能会重复写入消息,而使用Kafka的幂等性功能之后就可以避免这种情况。在生产者客户端配置enable.idempotence设置为true。如果配置了这个参数,那么retries必须大于0,acks=-1,max.in.flight.requests.per.connection不能大于5。Kafka为此引入了product id(PID)和序列号这两个概念,每个新的生产者实例在初始化的时候都会被分配一个PID,对于每一个PID,消息发送到的每个分区都有对应的序列号,这原创 2021-04-14 22:15:51 · 391 阅读 · 0 评论 -
Kafka分区分配策略以及重平衡过程总结
1.RangeAssignor分配策略(kafka默认的分区策略)partition.assignment.strategy=org.apache.kafka.clients.consumer.RangeAssignor按照消费者总数和分区总数进行整除运算来获得一个跨度,然后将分区按照跨度进行平均分配,以保证分区尽可能均匀地分配给所有的消费者。该策略会将消费者组内所有订阅这个主题的消费者按照名称的字典序排序,然后为每个消费者划分固定的分区范围,如果不够平均分配,那么字典序靠前的会被多分配一个分区.假原创 2021-04-13 15:42:34 · 2217 阅读 · 0 评论 -
消费者组重平衡全流程解析
1.什么是消费者组重平衡消费者组重平衡的作用就是让组内的所有消费者实例就消费哪些主题分区达成一致。重平衡需要借助Kafka的broker端的Coordinator 组件,Coordinator在整个重平衡过程中充当协调器,协助消费者组完成重平衡。2.什么情况下会触发重平衡·消费者组内成员发生变化·消费者组订阅的主题数量发生变化·订阅的主题内的分区数发生变化一般情况下,第一种情况比较常发生,当我们依次启动消费者组内的消费者实例的时候其实就会触发重平衡。3.重平衡过程是如何通知到其他消费者实例的原创 2021-03-28 18:39:05 · 444 阅读 · 1 评论