RDD的依赖关系，以及造成的stage的划分

一：RDD的依赖关系

1.在代码中观察

    val data = Array(1, 2, 3, 4, 5)
　　val distData = sc.parallelize(data)
　　val resultRDD = distData.flatMap(v => (1 to v)).map(v => (v%2,1)).reduceByKey(_+_)
　　resultRDD.toDebugString ## 查看RDD的依赖情况

2.解释

  + —处表示，这是两个不同的stage

  同时可以知道shuffledRDD依赖于MapPartitionRDD，MapPartitionRDD依赖于MapPartitionRDD，MapPartitionRDD依赖于ParalleCollectionRDD

 [2]表示有两个分区

3.RDD依赖

  lineage: 生命线
  依赖于RDD之间的依赖，后续的RDD数据是从之前的RDD中获取
  由于存在RDD的依赖，当一个后续的RDD执行失败的情况下(某个Task执行失败,eg：数据丢失)，可以从父RDD中重新执行
  RDD依赖父RDD，依赖的父RDD可以有多个；

    特例：第一个RDD是没有父RDD的
  RDD的内部是由多个Partiiton构成的，所以RDD的依赖实质上就是RDD中Partition的依赖关系

4.依赖的情况

  当前RDD中的每个分区的数据到下一个RDD都对应一个分区
   即：一个分区的数据输出到下一个RDD的时候还是在同一个分区，也就是一对一
  当前RDD中的多个分区的数据到下一个RDD的时候输出到同一个分区，当前RDD的中一个分区的数据到下一个RDD的时候输出到多个分区，也就是多对多

5.依赖分类

窄依赖：
  子RDD中的每个分区的数据都来自于常数个父RDD的分区，而且父RDD每个分区的数据到子RDD的时候一定在一个分区中
  不存在shuffle过程，所有操作在一起进行
宽依赖：
  子RDD中的每个分区的数据都依赖所有父RDD的所有的分区数据，而且父RDD的每个分区的数据到子RDD的时候不一定在一个分区中
  存在shuffle过程，需要等待上一个RDD的所有Task执行完成


注意点：
  join有时候是宽依赖，有时候是窄依赖，这个要看分区数量会不会改变。

6.算子与依赖之间的关系

  原本以为Transformation的算子是窄依赖，Action算子是宽依赖。
  现在理解更深了一下，发现他们是两个概念，不要混淆。

二：stage的划分

1.Spark Application Job的Stage划分规则

  RDD在调用transformation类型的函数时候形成DAG执行图(RDD的依赖)
  RDD在调用action类型函数的时候会触发job的执行
  在Driver中使用DAGScheduler对DAG图进行Stage的划分
    从DAG图的最后一步(结果输出的那一步)往前推，如果发现API是宽依赖(ShuffledRDD), 就结束推断，将此时构成的DAG图称为一个Stage，然后继续往前推断，直到第一个RDD
　　　　====> Stage与Stage之间的分割是宽依赖

三：两种RDD依赖的复习

1.说明

  主要是添加一个知识点。

  什么情况下父RDD需要执行。

2.不是不执行