（6）RDD依赖关系

RDD依赖关系

Lineage (血缘)

依赖关系是两个RDD之间，RDD1用到了 RDD2，那么RDD1依赖于RDD2，血缘就是多个RDD之间的依赖关系。

RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。

    val reduceRdd = sc.textFile("datas/word.txt")
      .flatMap(_.split(" "))
      .map((_, 1))
      .reduceByKey(_ + _)
    println(reduceRdd.toDebugString)  //打印rdd的血缘关系
    reduceRdd.collect().foreach(println)

打印结果：查看reduceRdd 的血缘关系

(2) ShuffledRDD[4] at reduceByKey at lineage.scala:13 []
 +-(2) MapPartitionsRDD[3] at map at lineage.scala:12 []
    |  MapPartitionsRDD[2] at flatMap at lineage.scala:11 []
    |  datas/word.txt MapPartitionsRDD[1] at textFile at lineage.scala:10 []
    |  datas/word.txt HadoopRDD[0] at textFile at lineage.scala:10 []

窄依赖 – OneToOne依赖

窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用,窄依赖我们形象的比喻为独生子女。

宽依赖 – shuffle依赖

宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition，会引起shuffle,总结：宽依赖我们形象的比喻为超生。

DAG

DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，

对于窄依赖，partition的转换处理在一个Stage中完成计算。
（因为OneToOne 一个分区对应一个分区，每个分区只需要单独生成一个task去处理，分区之间互相没有联系，不受影响）

对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。
(shuffle依赖需要对之前的分区数据打散重新分配，所以要等之前的RDD每个分区都处理完后，再对所有分区进行集中处理，所以要分阶段，等上一个阶段完成，再进行下一个阶段)

任务划分

RDD任务切分中间分为：Application、Job、Stage和Task
Application->Job->Stage->Task每一层都是1对n的关系。

1）Application：初始化一个SparkContext即生成一个Application；
2）Job：一个Action算子就会生成一个Job；
3）Stage：根据RDD之间的依赖关系的不同将Job划分成不同的Stage，遇到一个宽依赖则划分一个Stage；

4）Task：一个Stage阶段中，最后一个RDD的分区个数就是这个stage的Task的个数。