![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sparkstreaming
The Great Ant
做一个功成名就的人
展开
-
2021-07-08
简述SparkStreaming窗口函数的原理(重点) 窗口函数就是在原来定义的SparkStreaming计算批次大小的基础上再次进行封装,每次计算多个批次的数据,同时还需要传递一个滑动步长的参数,用来设置当次计算任务完成之后下一次从什么地方开始计算。 代码示例: kafkaStream.transform { rdd => offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges rdd}.map(_._原创 2021-07-08 22:15:55 · 51 阅读 · 0 评论 -
2021-07-08
SparkStreaming有哪几种方式消费Kafka中的数据,它们之间的区别是什么? 注意:目前spark3.0.0以上版本只有Direct模式。 总结:不同版本的offset存储位置 0-8 ReceiverAPI offset默认存储在:Zookeeper中 0-8 DirectAPI offset默认存储在:CheckPoint 手动维护:MySQL等有事务的存储系统 0-10 DirectAPI offset默认存储在:_consumer_offsets系统主题 手动维护:MySQL等有事务的原创 2021-07-08 22:14:34 · 56 阅读 · 0 评论