Spark 的join 什么时候是宽依赖什么时候是窄依赖

最新推荐文章于 2021-05-12 15:40:57 发布

颜渊月和F

最新推荐文章于 2021-05-12 15:40:57 发布

阅读量1.2k

点赞数 6

文章标签： spark hadoop

本文链接：https://blog.csdn.net/weixin_38813363/article/details/111868410

版权

本文探讨了Spark中join操作的宽依赖和窄依赖情况。通过分析代码和DAG图，得出结论：当两个RDD有相同分区器且分区数相同时，join为窄依赖；若无分区器或分区数不一致，需要shuffle，形成宽依赖。具体例子中，rdd3的join是宽依赖，rdd4的join是窄依赖。

摘要由CSDN通过智能技术生成

Spark 的join 什么时候是宽依赖什么时候是窄依赖
题目：
参考下面代码：
1.两个打印语句的结果是什么，对应的依赖是宽依赖还是窄依赖，为什么会是这个结果；
2.join 操作何时是宽依赖，何时是窄依赖；


import org.apache.spark.rdd.RDD
import org.apache.spark.{
   HashPartitioner, SparkConf, SparkContext}
object JoinDemo2 {
   
  def main(args: Array[String]): Unit = {
   
    val conf = new SparkConf().setAppName(this.getClass.getCanonicalName.init).setMaster("local[*]")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    val random = scala.util.Random
    val col1 = Range(1, 50).map(idx => (random.nextInt(10), s"user$idx"))
    val col2 = Array((0, "BJ"), (1, "SH"), (2, "GZ"), (3, "SZ"), (4, "TJ"), (5, "CQ"), (6, "HZ"), (7, "NJ"),