整合sparkstreaming和kafka，手动管理kafka的offsets(重点)
前言：
基于最近面试，两次被问到sparkstreaming消费kafka数据，程序突然退出怎么保证重新启动程序，数据不丢失和重复消费。因为项目本身也没怎么用到kafka这块，所以这个不是很清楚，以前也就让kafka默认管理offsets的方式，自动更新offsets到zookeeper。
1。我使用的软件及版本：apache-flume-1.6.
原创
2017-06-09 10:40:15 ·
1825 阅读 ·
0 评论
关注
分享
扫一扫