Spark Scala当中reduceByKey(_+_) reduceByKey((x,y) =＞ x+y)的用法

最新推荐文章于 2024-07-25 09:26:43 发布

元始天尊6

最新推荐文章于 2024-07-25 09:26:43 发布

阅读量2.4k

点赞数

分类专栏： Spark和Scala 文章标签：马克-to-win 马克java社区 reduceByKey(_+_) reduceByKey((x y) =&amp;gt; x+y)

本文链接：https://blog.csdn.net/qq_44596980/article/details/93311988

版权

Spark和Scala 专栏收录该内容

26 篇文章 1 订阅

订阅专栏

马克-to-win @ 马克java社区：reduceByKey(_+_)是reduceByKey((x,y) => x+y)的一个简洁的形式
*/

    val rdd08 = sc.parallelize(List((1, 1), (1, 4),(1, 3), (3, 7), (3, 5)))
    val rdd08_1 = rdd08.reduceByKey((x, y) => x + y)
    println("reduceByKey 用法 " + rdd08_1.collect().mkString(","))

    sc.stop()
}

def myunion(rdd05: RDD[Int], rdd06: RDD[Int]): Unit = {
    val res: RDD[Int] = rdd05.union(rdd06)

版权保护，尊重原创，原文出处：http://www.mark-to-win.com/tutorial/mydb_SparkScala_SparkreduceByKey__Usage.html