spark-rdd 实现简易pagerank

突然有一天老大告诉我说，咱们搞一下pagerank吧，我当时就感觉很无力，然后开始查看相关的论文和资料，前面博客有相关介绍。然后开始查看graphx部分的源码，还有包括现在已经废弃不用的bagel的实现，结合上面的几种实现，用rdd实现简易pagerank。代码如下：
val rdd = sc.textFile(“hdfs://master:9000/pagerank”).map( line =>{
val pair = line.split(“\t”)
(pair(0).toLong,pair(1).toLong)
}).repartition(48)
val zero = scala.collection.mutable.ArrayBuffer.empty[Long]
val links = rdd.map( x =>(x._1,x._2)).aggregateByKey(zero)( (x,y)=> x.+=( y ),( x1,x2 )=>x1.++=( x2 ) )
var ranks = links.mapValues( x => 1.0 )
for( i <- 0 until 10 ){
val tmp = links.join( ranks ).flatMap{ case(id,(link,rank)) =>link.map(dest =>(dest,rank/link.size)) }
ranks = tmp.reduceByKey(_ + _ ).mapValues( x => 0.15 + 0.85*x )

}

经过测试。
实现能简单的进行计算。后期如果有更好的实现会继续更新。