- 博客(2)
- 收藏
- 关注
原创 sparkstreaming对接kafka保存offset到redis
记录一下自己写的sparkstreaming保存offset到redis,并从上次的offset消费 //初始化streamingcontext对象 val ssc: StreamingContext = new StreamingContext(sc, Seconds(2)) //初始化jedis val jedis: JedisCluster = JedisCon...
2019-09-06 10:47:35 620
原创 KafkaUtils.createDirectStream的个人理解
近几日自己摸索的去看了一下kafka的一些特征,自己总结出来,加深一下印象 这个是sparkstreaming对接kafka,用direct方式消费数据的方法,点开这个方法看一下里面的描述 这是源码里对方法的描述,它说会这个方法会创建一个直接从Kafka代理获取消息的输入流,不使用任何接受器。 下面还有一段对这句话的解释,说这个流会直接查询kafka的偏移量,不使用zk去保存偏移量,消耗跟踪偏...
2019-08-14 15:42:22 10424 3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人