Spark中RDD的aggregate方法的理解
Spark学习过程中遇到RDD的aggregate(zeroValue :U)(seqOp:(U,Int)=> U),combOp :(U,U)=> U)方法,如果我们使用这个方法来计算RDD的平均值的话(这里我用的scala):
val arr = Array(1,2,3,4,5,,6)
val rdd = sc.parallelize(arr,1)
val result = rdd.aggr
原创
2018-01-06 11:24:06 ·
897 阅读 ·
0 评论