SparkStreaming算子_4.在spark streaming 中, 算子用于将dstream中的元素进行聚合并返回结果和每-CSDN博客

本文链接：https://blog.csdn.net/CH_Axiaobai/article/details/104170264

本文深入探讨SparkStreaming的核心算子，包括DStream创建、转换和输出操作，解析其工作原理及在实时流处理中的应用。

摘要由CSDN通过智能技术生成

                    
   Transformation
   含义
  
   map(func)
   通过函数func传递源DStream的每个元素，返回一个新的DStream
  
   flatMap(func)
   类似于map，但是每个输入项可以映射到0或多个输出项。
  
   filter(func)
   通过只选择func返回true的源DStream的记录来返回一个新的DStream。
  
   repartition(numPartitions)
   重分区,通过创建或多或少的分区来更改此DStream中的并行度级别。
  
   union(otherStream)
   返回一个新的DStream，它包含源DStream和其他DStream中的元素的联合。
  
   count（）
   通过计算源DStream的每个RDD中的元素数量，返回一个新的单元素RDD DStream。
  
   reduce(func)
   使用func函数(函数接受两个参数并返回一个参数)聚合源DStream的每个RDD中的元素，从而返回单元素RDDs的新DStream。这个函数应该是结合律和交换律的，这样才能并行计算。
  
   countByValue()
   当对K类型的元素的DStream调用时，返回一个新的(K, Long)对的DStream，其中每个键的值是它在源DStream的每个RDD中的频率。
  
   reduceByKey(func, [numTasks])
   当对(K, V)对的DStream调用时，返回一个新的(K, V)对的DStream，其中每个键的值使用给定的reduce函数进行聚合。注意:默认情况下

Transformation	含义
map(func)	通过函数func传递源DStream的每个元素，返回一个新的DStream
flatMap(func)	类似于map，但是每个输入项可以映射到0或多个输出项。
filter(func)	通过只选择func返回true的源DStream的记录来返回一个新的DStream。
repartition(numPartitions)	重分区,通过创建或多或少的分区来更改此DStream中的并行度级别。
union(otherStream)	返回一个新的DStream，它包含源DStream和其他DStream中的元素的联合。
count（）	通过计算源DStream的每个RDD中的元素数量，返回一个新的单元素RDD DStream。
reduce(func)	使用func函数(函数接受两个参数并返回一个参数)聚合源DStream的每个RDD中的元素，从而返回单元素RDDs的新DStream。这个函数应该是结合律和交换律的，这样才能并行计算。
countByValue()	当对K类型的元素的DStream调用时，返回一个新的(K, Long)对的DStream，其中每个键的值是它在源DStream的每个RDD中的频率。
reduceByKey(func, [numTasks])	当对(K, V)对的DStream调用时，返回一个新的(K, V)对的DStream，其中每个键的值使用给定的reduce函数进行聚合。注意:默认情况下