scala reduce : 分区内计算，分区间计算

最新推荐文章于 2022-06-07 17:01:46 发布

减肥中的小南瓜

最新推荐文章于 2022-06-07 17:01:46 发布

阅读量596

点赞数

分类专栏： scala学习笔记文章标签： Spark reduce 分区计算 RDD 并行计算

本文链接：https://blog.csdn.net/weixin_44342318/article/details/124213271

版权

scala学习笔记专栏收录该内容

13 篇文章 0 订阅

订阅专栏

#reduce : 分区内计算，分区间计算

package study.spark.core.acc

import org.apache.spark.{SparkConf, SparkContext}

object Spark01_Acc {

    def main(args: Array[String]): Unit = {

        val sparConf = new SparkConf().setMaster("local").setAppName("Acc")
        val sc = new SparkContext(sparConf)

        val rdd = sc.makeRDD(List(1,2,3,4))

        // reduce : 分区内计算，分区间计算
        //val i: Int = rdd.reduce(_+_)
        //println(i)
        var sum = 0
        rdd.foreach(
            num => {
                sum += num
            }
        )
        println("sum = " + sum)

        sc.stop()

    }
}