一、DStream转换操作
### --- DStream转换操作
~~~ DStream上的操作与RDD的类似,
~~~ 分为 Transformations(转换)和 OutputOperations(输出)两种,
~~~ 此外转换操作中还有一些比较特殊的方法,如:
~~~ updateStateByKey、transform 以及各种 Window 相关的操作。
二、DStream操作
Transformation | Meaning |
map(func) | 将源DStream中的每个元素通过一个函数func从而得到新的DStreams |
flatMap(func) | 和map类似,但是每个输入的项可以被映射为0或更多项 |
filter(func) | 选择源DStream中函数func判为true的记录作为新DStreams |
repartition(numPartitions) | 通过创建更多或者更少的partition来改变此DStream的并行级别 |
union(otherStream) | 联合源DStreams和其他DStreams来得到新DStream |
count() | 统计源DStreams中每个RDD所含元素的个数得到单元素RDD的新DStreams |
reduce(func) | 通过函数func(两个参数一个输出)来整合源DStreams中每个RDD元素得到单元素RDD的DStreams。这个函数需要关联从而可以被并行计算 |
countByValue() | 对于DStreams中元素类型为K调用此函数,得到包含(K,Long)对的新DStream,其中Long值表明相应的K在源DStream中每个RDD出现的频率 |
reduceByKey(func, [numTasks]) | 对(K,V)对的DStream调用此函数,返回同样(K,V)的新DStream,新DStream中的对应V为使用reduce函数整合而来。默认情况下,这个操作使用Spark默认数量的并行任务(本地模式为2, 集群模式中的数量取决于配置参数spark.default.parallelism)。 也可以传入可选的参数numTasks来设置不同数量的任务 |
join(otherStream, [numTasks]) | 两DStream分别为(K,V)和(K,W)对,返回(K,(V,W))对的新DStream |
cogroup(otherStream, [numTasks]) | 两DStream分别为(K,V)和(K,W)对,返回(K,(Seq[V],Seq[W])对新DStreams |
transform(func) | 将RDD到RDD映射的函数func作用于源DStream中每个RDD上得到新DStream。这个可用于在DStream的RDD上做任意操作 |
updateStateByKey(func) | 得到”状态”DStream,其中每个key状态的更新是通过将给定函数用于此key的上一个状态和新值而得到。这个可用于保存每个key值的任意状态数据 |
### --- 备注:
~~~ 在DStream与RDD上的转换操作非常类似(无状态的操作)
~~~ DStream有自己特殊的操作(窗口操作、追踪状态变化操作)
~~~ 在DStream上的转换操作比RDD上的转换操作少
二、DStream 的转化操作可以分为 无状态(stateless) 和 有状态(stateful) 两种:
### --- 无状态转化操作
~~~ 无状态转化操作。
~~~ 每个批次的处理不依赖于之前批次的数据。
~~~ 常见的 RDD 转化操作,例如 map、filter、reduceByKey 等
### --- 有状态转化操作
~~~ 有状态转化操作。
~~~ 需要使用之前批次的数据 或者是 中间结果来计算当前批次的数据。
~~~ 有状态转化操作包括:基于滑动窗口的转化操作 或 追踪状态变化的转化操作