Spark运行机制:
依赖:宽依赖和窄依赖,RDD具有分区
宽依赖:多个子RDD的分区依赖同一个父RDD的分区,类似reduceByKey;在父RDD的角度,理解为超生;
窄依赖:父RDD的每个分区最多被一个子RDD使用,类似map();在父RDD的角度,理解为独生;
依赖和分区
分区:RDD分区指分布式计算
依赖:划分阶段Stage
案例说明:
1.每个stage阶段中rdd的分区数决定Task任务数,总任务数所有Stage的任务数的总和;
2.划分阶段按RDD依赖关系进行区分,可参考rdd的toDebugString
如:
val rdd = sc.textFile("file:///D:/测试数据/spark_wordcount.txt")
val rdd1 = rdd.flatMap(x=> x.split(" "))
val rdd2 = rdd1.map(x=>(x,1))
val rdd3 = rdd2.reduceByKey((x,y)=>x+y)
println(rdd3.toDebugString);
(2) ShuffledRDD[4] at reduceByKey at WordCount.scala:11 []
+-(2) MapPartitionsRDD[3] at map at WordCount.scala:10 []
| MapPartitionsRDD[2] at flatMap at WordCount.scala:9 []
| file:///D:/测试数据/spark_wordcount.txt MapPartitionsRDD[1] at textFile at WordCount.scala:8 []
| file:///D:/测试数据/spark_wordcount.txt HadoopRDD[0] at textFile at WordCount.scala:8 []
说明:相同tree节点的等级为一个Stage
3.RDD的分区必须清晰。
Spark提交过程:
1.构建sc对象,[RDD创建]-->[RDD转换]-->[RDD转换]-->......-->RDD行动==>Job
{....................DAG....................}
说明:构建DAG,将DAG发送给DAGScheduler
2.DAGScheduler(DAG调度器)作用:
通过血统(RDD的依赖关系:宽和窄)划分Stage,并将Stage组合成TaskSet(任务数)发送给相对应集群服务器的TaskScheduler
3.TaskSchedule(任务调度器)作用:
将TaskSet转化为Task,并根据Task调度相应Worker的Executor
4.Exextor执行器:
运行Task!!!