SparkStreaming算子 作用整理

1. foreachRDD

一种转换算子
foreachRDD作用于DStream中每一个时间间隔的RDD，foreachPartition作用于每一个时间间隔的RDD中的每一个partition，foreach作用于每一个时间间隔的RDD中的每一个元素。

官网解析:

最常用的输出操作

需要一个函数作为参数，函数作用于DStream中的每一个RDD

函数将RDD中的数据输出到外部系统，如文件、数据库

函数在driver上执行

函数中通常要有action算子，因为foreachRDD本身是transform算子

foreachRDD  算子注意：
 1.foreachRDD是DStream中output operator类算子
 2.foreachRDD可以遍历得到DStream中的RDD，可以在这个算子内对RDD使用RDD的Transformation类算子进行转化，但是一定要使用rdd的Action类算子触发执行。
 3.foreachRDD可以得到DStream中的RDD，在这个算子内，RDD算子外执行的代码是在Driver端执行的，RDD算子内的代码是在Executor中执行。

2. transform

一种转换算子
应用在DStream上，可以用于执行任意的RDD到RDD的转换操作。他可以用于实现，DStream API中所没有提供的操作。

3. updateStateByKey

一种转换算子

• updateStateByKey作用：

1. 为SparkStreaming中每一个Key维护一份state状态，state类型可以是任意类型的，可以是一个自定义的对象，更新函数也可以是自定义的。
2. 通过更新函数对该key的状态不断更新，对于每个新的batch而言，SparkStreaming会在使用updateStateByKey的时候为已经存在的key进行state的状态更新。
   • 使用到updateStateByKey要开启checkpoint机制和功能。
   • 多久会将内存中的数据写入到磁盘一份？
     如果batchInterval设置的时间小于10秒，那么10秒写入磁盘一份。如果batchInterval设置的时间大于10秒，那么就会batchInterval时间间隔写入磁盘一份。

一般用来 统计广告点击流量，统计这一天的车流量，统计点击量

4. 窗口操作

• 官网窗口操作理解图：
  
  假设每隔5s 1个batch,上图中窗口长度为15s，窗口滑动间隔10s。
• 窗口长度和滑动间隔必须是batchInterval(批次间隔)的整数倍。如果不是整数倍会检测报错。
• 优化后的window窗口操作示意图：
  
• 优化后的window操作要保存状态所以要设置checkpoint路径，没有优化的window操作可以不设置checkpoint路径。

窗口函数:reduceByKeyAndWindow
例如:每隔2秒,统计前3秒内每个单词出现的次数

reduceByKeyAndWindow(_+_,Seconds(3),Seconds(2))

,每隔2秒(后面的2秒),统计前3秒的数据(前面的3秒),但是这个时候会有一个问题,当windowLength>slideInterval的时候,从官网图中可以看到time3会被计算2次,也就是说两个统计的部分会有重复,那么这个怎么解决呢?不用急,我们可以reduceByKeyAndWindow的另一个重载方法

reduceByKeyAndWindow(_+_,_-_,Seconds(3),Seconds(2))

这个方法的意思,我们可以不用重新获取或计算,而是通过获取旧信息来更新新的信息,这样既节省了空间又节省了内容,并且效率也大幅提升.