spark计算平均值

对于

Array(('a',1), ('a',2), ('b',3), ('a',4), ('a',15))
如何计算平均值呢：

原来通过计算两边，第一遍计算总次数

val a = sc.parallelize(data).map(x=>1)
val b = sc.parallelize(data).map(x=>x._2)
val count = a.reduce(_+_)
val value = b.reduce(_+_)
print(value/count)
但是这样需要对数据做两次处理，效率大大的下降。能不能只对数据做一次处理就能得到次数和总和呢。以下方法可以做到。

val data = Array(('a',1), ('a',2), ('b',3), ('a',4), ('a',15))
//此处将tuple第一项设置为次数，第二项为待相加的值
val distData = sc.parallelize(data).map(x=>(1,x._2))
//聚合方法，第一项计算总数，第二项计算总和
val add =(x:(Int,Int),y:(Int,Int))=>{(x._1+y._1,x._2+y._2)}
//开始计算,最后的结果是 (次数，总和)
val ret = distData.reduce(add)
//计算平均值
print(ret._2/ret._1)

通过修改add方法，将计算的结果放入到tuple中，即可对数据一次处理时，得到想要的结果。

转载于:https://www.cnblogs.com/luckuan/p/4720638.html