MQ
文章平均质量分 92
奋斗永不止步
这个作者很懒,什么都没留下…
展开
-
kafka常见问题及优化
kafka常见问题及优化一、消息丢失:二、消息重复发送和重复消费三、消息乱序四、消息积压五、消息回溯六、延时队列七、kafka事务八、kafka高性能原因一、消息丢失:发送端:acks=0:表示producer不需要等待任何broker确认收到消息的回复,就可以继续发送下一条消息。性能最高,但是最容易丢消息。大数据统计报表场景,对性能要求很高,对数据丢失不敏感的情况可以用这种。acks=1:至少要等待leader已经成功将数据写入本地log,但是不需要等待所有follower是否成功写入。就可原创 2021-08-02 11:13:18 · 1026 阅读 · 0 评论 -
Kafka设计原理详解(选举和Rebalance)
Kafka的选举和Rebalance一、Kafka核心总控制器Controller1、Controller选举机制2、Partition副本选举Leader机制二、消费者Rebalance1、消费者Rebalance机制2、消费者Rebalance分区分配策略:三、Rebalance过程第一阶段:选择组协调器第二阶段:加入消费组JOIN GROUP第三阶段( SYNC GROUP)四、producer发布消息机制剖析1、写入方式2、消息路由3、写入流程五、HW与LEO详解六、日志分段存储七、附录:zooke转载 2021-07-28 17:25:22 · 355 阅读 · 0 评论