reduceByKey

例子一
按key求和 
val rdd = sc.parallelize(List((“a”,2),(“b”,3),(“a”,3)))

合并key计算 
val r1 = rdd.reduceByKey((x,y) => x + y)

输出结果如下

(a,5)
(b,3)
 
例子二
若有一些spark书和Hadoop的书， 要求两本书各自销量的平均值 
数据如下

("spark",10)
("spark",20)
("hadoop",4)
("hadoop",10)
 
先创建一个rdd

val rdd = sc.parallelize(List(("spark",10),("hadoop",4),("hadoop",10),("spark",20)))
1
分析下数据， 要想求平均值， 必须算出总的价格，要对不同书进行分组，求每组书的数量

val r2 = rdd.mapValues(x => (x,1))
1
因为mapValues是对值的操作,不操作key， 打印结果如下

(spark,(10,1))
(hadoop,(4,1))
(hadoop,(10,1))
(spark,(20,1))
 
接着需要按key进行reduce，让key合并

val r3 = r2.reduceByKey((x,y) => (x._1+y._1, x._2+y._2))
1
变量说明： 
当将spark进行reduce后 
这里的(x,y) 表示的是(10,1)(20,1) 
x._1 表示10， x._2表示1 
y._1表示20， y._2表示1 
这样通过计算得到的就是如下结果

(spark,(30,2))
(hadoop,(14,2))
 
接着要对value进行操作，用mapValues()就行啦

val r4 = r3.mapValues(x => x._1 / x._2)
 
打印结果如下

(spark,15)
(hadoop,7)