Scala reduceByKey()函数详解
该函数的作用是对两个RDD结构数据进行压缩合并,将有相同key的数据合并在一起,只保留一个key对应一条数据,从而起到压缩数据的效果,对同一key下的value进行合并的方式可以指定一个计算逻辑C。函数可以表示为: 原RDD数据.((x,y)=>表达式c)。接下来据两个例子:语句: val c = sc.parallelize(1 to 10) c.reduce((x, y) => x + y)输出:55解析:元组c展开为(1,2,3,4,5,6,7,8,9),转换成
原创
2020-07-26 21:12:39 ·
7640 阅读 ·
0 评论