我大约是把kafka消费不到数据的特殊情况都经历了一遍了吧= =、
kafka消费不到数据的原因,首先检查配置之类的,如是否设置了group.id,对应的topic是否正确等等,这些不多说。
下面是我遇到的几种kafka消费不到数据的情况:
1.多分区,单例消费者的情况,只消费到一个分区,应多加几个消费者,不能用单例,直接subscribe的话,rebalance机制启动,手动的话如下
consumer.Assign(new List<TopicPartitionOffset>(){ new TopicPartitionOffset(new TopicPartition("topic", 1), Offset.Stored) });
2.长时间不消费导致 log.retention.hours或者 log.retention.minutes超时,清除log,Offset.Stored失效</

本文总结了作者遇到的Kafka消费数据困难的特殊场景,包括多分区单例消费者仅消费一个分区、数据过期清除及大量数据导致磁盘耗尽等问题,并提供了相应的解决方法,如增加消费者实例、手动配置offset存储和调整Kafka配置以防止数据丢失。
最低0.47元/天 解锁文章
1128

被折叠的 条评论
为什么被折叠?



