KafKa
泰山与水
古今之成大事者,不惟有超世之才,亦惟有坚韧不拔之志
展开
-
Kafka-消费者如何避免消息积压+消费常用模式+配置参数
一、 常用消费者的消费模式多个消费线程可以在一个进程中,也可以在不同进程中 消费线程负责拉取数据,每一条消费放到一个线程池负责业务逻辑的处理 如果要保证消息有序这种模式不行 自动提交偏移量 可能丢失,可以调小自动提交偏移量的时间间隔,减少丢失的数量和丢失的概率 可能重复,需要做幂等处理 手动提交偏移量 消费者自己维护需要提交的偏移量,按照不同分区维护 消费自己控制提交偏移量的时机,什么时候提交 消费者自己空提交偏移量的方式 消费一条提交一条 消费多条批量提交原创 2020-07-05 17:48:25 · 3743 阅读 · 0 评论 -
【线上事件】Kafka关于Topic和分区数量过多问题
2019-07-19某系统kafka集群宕机,重启失败日志网上相似问题描述:https://javarevisited.blogspot.com/2014/11/javaioioexception-map-failed-javalangoutofmemoryerror.htmlkafka官网文档参考说明:http://kafka.apache.org/document...原创 2020-04-20 18:05:58 · 2880 阅读 · 0 评论 -
掌握这些玩转Kafka客户端-Producer
测试原创 2020-04-18 21:18:33 · 334 阅读 · 0 评论