Spark源码分析

Spark源码分析 join是否会出现Shuffle

简答题： 以下代码：

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object JoinDemo {
  def main(args: Array[String]): Unit = {
    import org.apache.spark.HashPartitioner
    val conf = new SparkConf().setAppName(this.getClass.getCanonicalName.init).setMaster("local[*]")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    val random = scala.util.Random
    val col1 = Range(1, 50).map(idx => (random.nextInt(10), s"user$idx"))
    val col2 = Array((0, "BJ"), (1, "SH"), (2, "GZ"), (3, "SZ"), (4, "TJ"), (5, "CQ"), (6, "HZ"), (7, "NJ"), (8, "WH"), (0,
      "CD"))
    val rdd1: RDD[(Int, String)] = sc.makeRDD(col1)
    val rdd2: RDD[(Int, String)] = sc.makeRDD(col2)
    val rdd3: RDD[(Int, (String, String))] = rdd1.join(rdd2)
    println(rdd3.dependencies)
    val rdd4: RDD[(Int, (String, String))] = rdd1.partitionBy(new HashPartitioner(3)).join(rdd2.partitionBy(new
        HashPartitioner(3)))
    println(rdd4.dependencies)
    sc.stop()
  }
}

1.两个打印语句的结果是什么，对应的依赖是宽依赖还是窄依赖，为什么会是这个结果；

2.join 操作何时是宽依赖，何时是窄依赖；

3.借助 join 相关源码，回答以上问题。

通过运行代码，查看job作业DAG图 可以看出

rdd1.join(rdd2) 运行的stage划分图，看到join过程划分出了一个新的stage，所以是宽依赖

    rdd1.partitionBy(new HashPartitioner(3)).join(rdd2.partitionBy(new HashPartitioner(3))) 运行的stage划分图，可以看到join与之上的分区操作在同一个stage中，

也就是说join没有shuffle发生，所以是窄依赖。

rdd1.join(rdd2) 实际是调用的重载方法 rdd.join(other,partitioner)

rdd1.join(rdd2,partitioner) 调用 cogroup 进行连接操作

cogroup  方法 初始化 CoGroupRDD 来进行操作 

CoGroupRDD  实现了getDependencies 通过源码分析，发现 只有rdd1与rdd2 的分区相同时，是oneToOne 窄依赖 否则会出现 shuffle 为宽依赖