Spark-reduce和reduceByKey

Spark-reduce和reduceByKey

https://www.wandouip.com/t5i97590/

1.reduce

reduce(binary_function)
reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。

val c = sc.parallelize(1 to 5)
c.reduce((x, y) => x + y)

结果为：15

流程：c为rdd，其中包括1,2,3,4,5五个元素，计算过程：1+2=3,3+3=6,6+4=10,10+5=15

2.reduceByKey

reduceByKey(binary_function)
reduceByKey就是对元素为KV对的RDD中Key相同的元素的Value进行binary_function的reduce操作，因此，Key相同的多个元素的值被reduce为一个值，然后与原RDD中的Key组成一个新的KV对。

ratings.dat
1::1::4::2222222222
1::2::3::2222222244
2::1::4::2222223333
3::3::5::2222222855

val ratingsRDD = sc.textFile(datapath+"ratings.dat")    
val ratings = ratingsRDD.map(_.split("::")).map(x =>(x(0),x(1),x(2))).cache()
val moviesAndRatins = ratings.map(x=>(x._2,(x._3.toDouble,1))).reduceByKey((x,y)=>(x._1+y._1,x._2+y._2))

ratings的值为
(1,1,4)
(2,1,4)
(3,3,5)
(1,2,3)

ratings.map(x=>(x._2,(x._3.toDouble,1)))值为
(1,(4.0,1))
(2,(3.0,1))
(1,(4.0,1))
(3,(5.0,1))
 ratings.map(x=>(x._2,(x._3.toDouble,1))).reduceByKey((x,y)=>(x._1+y._1,x._2+y._2))值为
(2,(3.0,1))
(3,(5.0,1))
(1,(8.0,2))