spark streaming 提交offset不是你想的那样
背景:
需要用streaming+kafka消费一批数据,数据处理的过程中可能会有一些问题,导致没有消费成功,所以想记录每个分区消费的offset,在创建createDirectStream的时候指定offset。
测试过程中发现除了第一次指定的offset生效外,后续依然会从untilOffset消费,并非自己手动提交的offset位置。通过扒源码发现是自己对offset的理解...
原创
2020-04-01 18:05:50 ·
1602 阅读 ·
0 评论