Spark运行机制及提交过程

Spark运行机制：

 依赖：宽依赖和窄依赖，RDD具有分区
         宽依赖：多个子RDD的分区依赖同一个父RDD的分区，类似reduceByKey；在父RDD的角度，理解为超生；
         窄依赖：父RDD的每个分区最多被一个子RDD使用，类似map()；在父RDD的角度，理解为独生；

      依赖和分区
       分区:RDD分区指分布式计算
       依赖：划分阶段Stage

案例说明：

1.每个stage阶段中rdd的分区数决定Task任务数，总任务数所有Stage的任务数的总和；
       2.划分阶段按RDD依赖关系进行区分，可参考rdd的toDebugString
         如：
	    val rdd = sc.textFile("file:///D:/测试数据/spark_wordcount.txt")
	    val rdd1 = rdd.flatMap(x=> x.split(" "))
	    val rdd2 = rdd1.map(x=>(x,1))
	    val rdd3 = rdd2.reduceByKey((x,y)=>x+y)
	    println(rdd3.toDebugString);
	       (2) ShuffledRDD[4] at reduceByKey at WordCount.scala:11 []
		 +-(2) MapPartitionsRDD[3] at map at WordCount.scala:10 []
		    |  MapPartitionsRDD[2] at flatMap at WordCount.scala:9 []
		    |  file:///D:/测试数据/spark_wordcount.txt MapPartitionsRDD[1] at textFile at WordCount.scala:8 []
		    |  file:///D:/测试数据/spark_wordcount.txt HadoopRDD[0] at textFile at WordCount.scala:8 []
         说明：相同tree节点的等级为一个Stage
       3.RDD的分区必须清晰。

 

Spark提交过程：

1.构建sc对象，[RDD创建]-->[RDD转换]-->[RDD转换]-->......-->RDD行动==>Job
                  {....................DAG....................}
          说明：构建DAG，将DAG发送给DAGScheduler
      2.DAGScheduler(DAG调度器)作用：
       通过血统(RDD的依赖关系：宽和窄)划分Stage，并将Stage组合成TaskSet(任务数)发送给相对应集群服务器的TaskScheduler
    3.TaskSchedule(任务调度器)作用：
       将TaskSet转化为Task，并根据Task调度相应Worker的Executor
    4.Exextor执行器：
       运行Task！！！