Transformation | 含义 |
---|---|
map(func) | 通过函数func传递源DStream的每个元素,返回一个新的DStream |
flatMap(func) | 类似于map,但是每个输入项可以映射到0或多个输出项。 |
filter(func) | 通过只选择func返回true的源DStream的记录来返回一个新的DStream。 |
repartition(numPartitions) | 重分区,通过创建或多或少的分区来更改此DStream中的并行度级别。 |
union(otherStream) | 返回一个新的DStream,它包含源DStream和其他DStream中的元素的联合。 |
count() | 通过计算源DStream的每个RDD中的元素数量,返回一个新的单元素RDD DStream。 |
reduce(func) | 使用func函数(函数接受两个参数并返回一个参数)聚合源DStream的每个RDD中的元素,从而返回单元素RDDs的新DStream。这个函数应该是结合律和交换律的,这样才能并行计算。 |
countByValue() | 当对K类型的元素的DStream调用时,返回一个新的(K, Long)对的DStream,其中每个键的值是它在源DStream的每个RDD中的频率。 |
reduceByKey(func, [numTasks]) | 当对(K, V)对的DStream调用时,返回一个新的(K, V)对的DStream,其中每个键的值使用给定的reduce函数进行聚合。注意:默认情况下 |
SparkStreaming算子
最新推荐文章于 2022-02-15 22:18:56 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)