- 博客(1)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 SparkStreaming2.2+kafka的偏移量管理
在从kafka接受流式数据的时候，spark提供了两种方式，Dstream和DirectStream，在spark2.2中已经不在提供第一种方式，具体区别这儿就不再描述了，第二种方式spark是用的kafka低阶api，每个RDD对应一个topic的分区，这种情况，需要借助于外部存储来管理offset，或者简单点，自己手动利用kafka来管理offset，否则在程序重启时找不到offset从最新的...
2018-08-22 11:16:41
2337
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人