1、获取RDD分区的方式:
scala> val rdd = sc.parallelize(Seq((1,2),(3,4),(3,6)))
rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollectionRDD[28] at parallelize at <console>:30
scala> val partitioned = rdd.partitionBy(new spark.HashPartitioner(2))
partitioned: org.apache.spark.rdd.RDD[(Int, Int)] = ShuffledRDD[33] at partitionBy at <console>:33
partitioner不仅是检验各种Spark操作如何影响分区方式的一种好办法,还可以用来在程序中检查想要使用的操作是否会生成正确的结果。
2、从分区中获益的操作:
cogroup()、groupWith()、join()、leftOuterJoin()、rightOuterJoin()、groupByKey()、reduceByKey()、combineByKey()以及lookup()。它们涉及到将数据根据键跨界点进行混洗的过程。
3、影响分区方式的操作:
所有会为生成的结果RDD设好分区方式的操作:
cogroup()、groupWith()、join()、leftOuterJoin()、rightOuterJoin()、groupByKey()、reduceByKey()、combineByKey()、partitionBy()、sort()、mapValues()(如果父RDD设好分区方式的话)、flatMapValues()(如果父RDD设好分区方式的话)、以及filter()(如果父RDD设好分区方式的话)。
4、PageRank
PageRank是一个从分区中获益的更复杂的算法。是一个执行多次连接的一个迭代算法,算法维护两个数据集:一个由(pageID,linkList)的元素组成,包含每一页的相邻页面列表;另一个由(pageID,rank)元素组成,包含每个页面的当前排列值。
算法步骤:
- 将每个页面的排序初始值设为1.0
- 在每次迭代中,对页面P,向其每个相邻的页面(有直接链接的页面)发送一个值为rank(p)/numNeighbors(p)的贡献值。
- 将每个页面的排序值设为0.15 + 0.85*contributionReceived。
scala版本代码:
//假设相邻页面列表一Spark objectFile的形式存储
val links = sc.objectFile[(String, Seq[String])]("links")
.partitionBy(new org.apache.spark.HashPartitioner(100))
.persist()
//将每个页面的排序初始华为1.0;由于使用mapValues,生成RDD
//的分区方式会和“links”的一样
var ranks = links.mapValues { x => 1.0 }
//运行10轮迭代
for(i <- 0 until 10){
val contributions = links.join(ranks).flatMap{
case(pageId, (links,rank)) =>
links.map(dest => rank/ links.size)
}
import org.apache.spark.SparkContext._
ranks = contributions.reduceByKey((x,y) => x + y).mapValues(v => 0.15 + 0.85 * v)
}
//写出最终排名
ranks.saveAsTextFile("ranks")
}