大数据-玩转数据-Spark-DStream转换操作说明（python版）

大数据-玩转数据-Spark-DStream转换操作（python版）

数据流到达时，Spark Streaming 会把连续的数据分段，然后对分段内的DStream进行转换操作。
一、DStream无状态转换操作
无状态转换操作，不会记录历史状态，每个批次进行单独记录，批次与批次之间没有联系，不会进行历史累计。

常用DStream无状态转换操作
map(func)
用func函数将源DStream进行转换，得到新的DStream
flatMap(func)
与map相似，但每个输入项可映射到0个或多个输出项
filter(func)
返回一个新的DStream,仅包含满足func 函数的项
repartition(numPartitions)
通过创建更多或更少分区改变DStream的并行程度
reduce(func)
利用func函数聚集DStream中每个RDD的元素，返回一个包含单元素RDD的新DStream
countByValue()
应用于元素类型为K的DStream上，返回已个（k,v）键值对组成的DStream，每个键的值是原DStream的每个RDD中出现的次数
reduceByKey(func)
在由（k,v）组成的DStream上执行操作时，返回一个新的（k,v）键值对组成的DStream，每个key的值均由给定的func函数聚集起来
join(other DStream)
两个DStream，一个为（k,v）键值对，另一个为（k,w）键值对，相同K进行关联，返回（k,v,w）键值对的新DStream
cogroup(otherSteam)
两个DStream，一个为（k,v）键值对，另一个为（k,w）键值对，相同K进行关联,返回一个包含（k,Seq(v),Seq(w)）的元组
transform(func)
通过对源DStream的每个RDD应用RDD-to-RDD函数，创建一个新的DStream，支持在新的DStream中进行任何RDD操作

二、DStream有状态操作
1、滑动窗口转换操作
设定滑动窗口的时间间隔，让窗口在指定的DStream上滑动，每次窗口停放的位置，包含一部分的DStream或RDD，形成一个小段，对这个小段进行各种操作。

常用滑动窗口转换操作
window(windowLength,slideInterval)
基于DStream产生的窗口化的批数据，计算得到一个新的DStream
contByWindow(windowLength,slideInterval)
返回流中元素的一个滑动窗口
reduceByWindow(func,windowLength,slideInterval)
返回一个单元素流。利用func对滑动窗口的元素进行聚集，得到一个单元素流。函数func必须满足结合律，从而可以支持并行计算

reduceByKeyAndWindow(func,windowLength,slideInterval)
应用到一个（k,v）键值对组成的DStream上时，会返回一个（k,v）键值对组成的新DStream。每个Key 的值均由给定的reduce函数（func）进行聚合计算。

reduceByKeyAndWindow(func,in vFunc,windowLength,slideInterval)
更高效的reduceByKeyAndWindow

contByValueAndWindow(windowLength,slideInterval)
应用到一个（k,v）键值对组成的DStream上，返回一个由（k,v）键值对组成的新的DStream。每个key的值都是它们在滑动窗口出现的频率

2、updateStateByKey 操作
上面介绍的滑动窗口，只是对窗口内的数据进行操作计算，无法跨批次维护状态，而updateStateByKey 操作可以。