Spark运行机制和提交过程

1.运行机制

　　1.依赖：宽依赖和窄依赖，RDD具有分区

　　　　宽依赖：多个子RDD的分区依赖同一个父RDD的分区，类似reduceByKey；在父RDD的角度，理解为超生；
　　　　窄依赖：父RDD的每个分区最多被一个子RDD使用，类似map()；在父RDD的角度，理解为独生；
　　2.依赖和分区
　　　　分区:RDD分区指分布式计算
　　　　依赖：划分阶段Stage
　　3.wordcount说明：
　　　　1.每个stage阶段中rdd的分区数决定Task任务数，总任务数所有Stage的任务数的总和；
　　　　2.划分阶段按RDD依赖关系进行区分，可参考rdd的toDebugString
　　　　　　如：
　　　　　　　　val rdd = sc.textFile("file:///D:/测试数据/spark_wordcount.txt")
　　　　　　　　val rdd1 = rdd.flatMap(x=> x.split(" "))
　　　　　　　　val rdd2 = rdd1.map(x=>(x,1))
　　　　　　　　val rdd3 = rdd2.reduceByKey((x,y)=>x+y)
　　　　　　　　println(rdd3.toDebugString);
　　　　　　(2) ShuffledRDD[4] at reduceByKey at WordCount.scala:11 []
　　　　　　　　+-(2) MapPartitionsRDD[3] at map at WordCount.scala:10 []
　　　　　　　　　　 | MapPartitionsRDD[2] at flatMap at WordCount.scala:9 []
　　　　　　　　　　 | file:///D:/测试数据/spark_wordcount.txt MapPartitionsRDD[1] at textFile at WordCount.scala:8 []
　　　　　　　　　　 | file:///D:/测试数据/spark_wordcount.txt HadoopRDD[0] at textFile at WordCount.scala:8 []
　　　　　　　　　　说明：相同tree节点的等级为一个Stage
　　　　3.RDD的分区必须清晰。

二.提交过程

　　1.构建sc对象，[RDD创建]-->[RDD转换]-->[RDD转换]-->......-->RDD行动==>Job

　　　　　　　　　{....................DAG....................}
　　　　说明：构建DAG，将DAG发送给DAGScheduler
　　2.DAGScheduler(DAG调度器)作用：
　　　　通过血统(RDD的依赖关系：宽和窄)划分Stage，并将Stage组合成TaskSet(任务数)发送给相对应集群服务器的TaskScheduler
　　3.TaskSchedule(任务调度器)作用：
　　　　将TaskSet转化为Task，并根据Task调度相应Worker的Executor
　　4.Exextor执行器：
　　　　运行Task！！！

 

转载于:https://www.cnblogs.com/lyr999736/p/9585352.html