spark中如何划分stage

宽窄依赖

      窄依赖指父RDD的每一个分区最多被一个子RDD的分区所用，表现为
            一个父RDD的分区对应于一个子RDD的分区
            两个父RDD的分区对应于一个子RDD 的分区。           
      宽依赖指子RDD的每个分区都要依赖于父RDD的所有分区，这是shuffle类操作

Stage
       一个Job会被拆分为多组Task，每组任务被称为一个Stage就像Map Stage， Reduce Stage。Stage的划分，简单的说是以shuffle和result这两种类型来划分。在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。
       比如 rdd.parallize(1 to 10).foreach(println) 这个操作没有shuffle，直接就输出了，那么只有它的task是resultTask，stage也只有一个；如果是rdd.map(x => (x, 1)