RDD分区

1、获取RDD分区的方式：

scala> val rdd = sc.parallelize(Seq((1,2),(3,4),(3,6)))
rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollectionRDD[28] at parallelize at <console>:30

scala> val partitioned = rdd.partitionBy(new spark.HashPartitioner(2))
partitioned: org.apache.spark.rdd.RDD[(Int, Int)] = ShuffledRDD[33] at partitionBy at <console>:33

partitioner不仅是检验各种Spark操作如何影响分区方式的一种好办法，还可以用来在程序中检查想要使用的操作是否会生成正确的结果。

2、从分区中获益的操作：

cogroup()、groupWith()、join()、leftOuterJoin()、rightOuterJoin()、groupByKey()、reduceByKey()、combineByKey()以及lookup()。它们涉及到将数据根据键跨界点进行混洗的过程。

3、影响分区方式的操作：

所有会为生成的结果RDD设好分区方式的操作：
cogroup()、groupWith()、join()、leftOuterJoin()、rightOuterJoin()、groupByKey()、reduceByKey()、combineByKey()、partitionBy()、sort()、mapValues()（如果父RDD设好分区方式的话）、flatMapValues()（如果父RDD设好分区方式的话）、以及filter()（如果父RDD设好分区方式的话）。

4、PageRank
PageRank是一个从分区中获益的更复杂的算法。是一个执行多次连接的一个迭代算法，算法维护两个数据集：一个由(pageID,linkList)的元素组成，包含每一页的相邻页面列表；另一个由(pageID,rank)元素组成，包含每个页面的当前排列值。
算法步骤：

• 将每个页面的排序初始值设为1.0
• 在每次迭代中，对页面P，向其每个相邻的页面（有直接链接的页面）发送一个值为rank(p)/numNeighbors(p)的贡献值。
• 将每个页面的排序值设为0.15 + 0.85*contributionReceived。

scala版本代码：

 //假设相邻页面列表一Spark objectFile的形式存储
     val links = sc.objectFile[(String, Seq[String])]("links")
                .partitionBy(new org.apache.spark.HashPartitioner(100))
                .persist()

     //将每个页面的排序初始华为1.0；由于使用mapValues，生成RDD
     //的分区方式会和“links”的一样
     var ranks = links.mapValues { x => 1.0 }

      //运行10轮迭代
      for(i <- 0 until 10){
        val contributions = links.join(ranks).flatMap{
          case(pageId, (links,rank)) =>
            links.map(dest => rank/ links.size)
        }
        import org.apache.spark.SparkContext._
        ranks = contributions.reduceByKey((x,y) => x + y).mapValues(v => 0.15 + 0.85 * v)
      }
     //写出最终排名
      ranks.saveAsTextFile("ranks")

  }