问题:
sparkstreaming消费kafka如何保证输出结果只会产生一次
解决方案:
1.自己实现commitsync方法 ,这个方法运行时毫秒级
2.每次消费完之后将offset保存到hdfs或本地,启动的时候读这个文件并且加入新增的partition offset即可
但是!上面的方案还是会出现问题。。。
因为入库操作和commitc方法不是一个原子操作。
所以程序停止时可能出现commitsync方法未完成或hdfs文件未写完..虽然概率很小。。
为了真正的解决上述问题,唯一的最合适的方案:
*****
将offset信息同结果数据一起入库,保证是一个原子操作,这样就万无一失了
*****