sparkStreaming关于kafka偏移量的管理
SparkStreaming使用checkpoint存在的问题及解决方案sparkstreaming关于偏移量的管理image在 Direct DStream初始化的时候,需要指定一个包含每个topic的每个分区的offset用于让Direct DStream从指定位置读取数据。offsets就是步骤4中所保存的offsets位置读取并处理消息处理完之后存储结果数据用虚线圈存储和提交...
转载
2019-08-26 21:37:08 ·
1245 阅读 ·
0 评论