读取kafka offset,保存至zk,并处理kafka.common.OffsetOutOfRangeException,offset过期问题
将kafka的offset保存到zk,当任务因为某些原因终止,一段时间内没有发现,再次重启会发生offset越界问题,是因为zk中保存到offset已过期,所以,任务启动时应该做一次判断,将kafka最小的offset与zk中的比较,如果kafka最小的offset还要比zk中保存的大,此时应该从kafka的offset加一点偏移量开始消费,我这边由于数据量比较大,偏移量为50w
import java.util.Properties
import kafka.utils.{ZKGroupTopicDir
转载
2020-08-21 11:02:30 ·
490 阅读 ·
0 评论