sparkStreaming foreachRDD算子

最新推荐文章于 2021-01-10 06:10:14 发布

shining0903lxy

最新推荐文章于 2021-01-10 06:10:14 发布

阅读量438

点赞数

分类专栏： spark 文章标签： sparkStreaming foreachRDD算子

本文链接：https://blog.csdn.net/weixin_43548518/article/details/103494002

版权

本文介绍了SparkStreaming中的核心算子foreachRDD，详细解释了它的定义和作用，包括如何对Dstream中的RDD进行操作以及如何动态改变广播变量的值。同时提到了transform算子与foreachRDD的相似性和区别，transform作为转换算子的特点被强调。

摘要由CSDN通过智能技术生成

#foreachRDD是Dstream的outPutOperator算子

foreachRDD定义：

   def foreachRDD(foreachFunc : org.apache.spark.api.java.function.VoidFunction[R]) : scala.Unit

##foreachRDD作用：
对Dstream中RDD操作
动态改变广播变量值

foreachRDD注意事项：

  foreachRDD虽然是outPutOperator算子，但是outPutOperator算子内是对RDD的transformation action操
  作，只有RDD的transformation算子，outPutOperator算子是不执行的，要有action触发，outPutOperator
  算子才能执行
   call 方法内，rdd算子外是driver端执行的，每一个Duration执行一次，适合读取外部知识文件，作为广播 
   变量,做到动态改变
   call 方法内，不能直接使用主方法定义的JavaSparkContext，要重新从RDD中获取
   `
                    JavaSparkContext javaSparkContext = new JavaSparkContext(pairRDD.context());
                  Broadcast<String> broadcast = javaSparkContext.broadcast("hello");`