reduceByKey

版权声明:早起签到群:642179511 [2018我们要早起不赖床] https://blog.csdn.net/qq_36238595/article/details/78467169

例子一

按key求和
val rdd = sc.parallelize(List((“a”,2),(“b”,3),(“a”,3)))

合并key计算
val r1 = rdd.reduceByKey((x,y) => x + y)

输出结果如下

(a,5)
(b,3)

例子二

若有一些spark书和Hadoop的书, 要求两本书各自销量的平均值
数据如下

("spark",10)
("spark",20)
("hadoop",4)
("hadoop",10)

先创建一个rdd

val rdd = sc.parallelize(List(("spark",10),("hadoop",4),("hadoop",10),("spark",20)))

分析下数据, 要想求平均值, 必须算出总的价格,要对不同书进行分组,求每组书的数量

val r2 = rdd.mapValues(x => (x,1))

因为mapValues是对值的操作,不操作key, 打印结果如下

(spark,(10,1))
(hadoop,(4,1))
(hadoop,(10,1))
(spark,(20,1))

接着需要按key进行reduce,让key合并

val r3 = r2.reduceByKey((x,y) => (x._1+y._1, x._2+y._2))

变量说明:
当将spark进行reduce后
这里的(x,y) 表示的是(10,1)(20,1)
x._1 表示10, x._2表示1
y._1表示20, y._2表示1
这样通过计算得到的就是如下结果

(spark,(30,2))
(hadoop,(14,2))

接着要对value进行操作,用mapValues()就行啦

val r4 = r3.mapValues(x => x._1 / x._2)

打印结果如下

(spark,15)
(hadoop,7)
阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页