- 博客(2)
- 收藏
- 关注
RSS订阅原创 sparkstreaming对接kafka保存offset到redis
记录一下自己写的sparkstreaming保存offset到redis，并从上次的offset消费//初始化streamingcontext对象 val ssc: StreamingContext = new StreamingContext(sc, Seconds(2)) //初始化jedis val jedis: JedisCluster = JedisCon...
2019-09-06 10:47:35
611
原创 KafkaUtils.createDirectStream的个人理解
近几日自己摸索的去看了一下kafka的一些特征，自己总结出来，加深一下印象这个是sparkstreaming对接kafka，用direct方式消费数据的方法，点开这个方法看一下里面的描述这是源码里对方法的描述，它说会这个方法会创建一个直接从Kafka代理获取消息的输入流，不使用任何接受器。下面还有一段对这句话的解释，说这个流会直接查询kafka的偏移量，不使用zk去保存偏移量，消耗跟踪偏...
2019-08-14 15:42:22
10404
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人