SparkStreaming
SparkStreaming
potpof
这个作者很懒,什么都没留下…
展开
-
SparkStreaming02
MapWithState 了解 MapWithState和UpdateStateBykey都是做批次累加操作,都可以将每个批次结果进行累加计算,但是UpdateStateByKey是真正基于磁盘存储的,所有批次结果都会累加至磁盘,每次取值的时候也会直接访问磁盘,不管当前批次是否有值,都会获取之前批次结果数据,而MapWithState,虽然也是基于磁盘存储,但是它合理使用内存,也就是缓存,Map...原创 2019-11-19 21:55:54 · 145 阅读 · 0 评论 -
SparkStreaming01
Spark Streaming介绍 Spark Streaming是一个实时流处理计算平台,主要是针对流式数据进行统计分析。 Spark Streaming是针对流数据处理的框架,它的底层实现基于Spark Core,也有 Spark Core的相关概念,比如RDD的容错性,在Spark Streaming中,它的底层其实就在RDD上面实现了一种封装,将之前处理的RDD概念,转换成流的概念(DSt...原创 2019-11-18 18:58:00 · 128 阅读 · 0 评论