spark job stage task概念与区分

基本概念

Job简单讲就是提交给spark的任务。
Stage是每一个job处理过程要分为的几个阶段。
Task是每一个job处理过程要分几为几次任务。
Task是任务运行的最小单位。最终是要以task为单位运行在executor中。

job stage task之间的关系?

Job----> 一个或多个stage---> 一个或多个task

stage如何划分?

划分stage的本质是依据是否需要shuffle,需要shuffle的过程和不需要shuffle的过程明显不同,因此需要划分stage.

如下图,2个stage,遇到宽依赖,reduceByKey之前一个stage,之后一个stage(stage划分的依据是遇到宽依赖就划分一个新的stage)

job如何划分?

转换算子与行动算子结果不同. 行动算子会将结果进行输出.

当在程序中遇到一个action算子的时候，就会提交一个job，执行前面的一系列操作。因此平时要注意，如果声明了数据需要cache或者persist，但在action操作前释放掉的话，该数据实际上并没有被缓存。

通常一个任务会有多个job，job之间是按照串行的方式执行的。一个job执行完成后，才会起下一个job。有一段时间曾想让job并行执行，但没有找到解决方法。

sortby 底层调用collect,也算行动算子.会生成一个job

一个stage的task数量是如何确定的?

对于文件而言,task的数量由分区数量决定,而分区数量默认又是由分片的数量决定的(未指定的情况下). 所以hdfs读取的时候有多少分片,就要多少task

一个job的task数量是多少?

一个job可以是多个task,其task数量=stage数量*每个stage task的数量

一个Executor可以运行多少个task?

默认情况下一个task对应cpu的一个核。如果一个executor可用cpu核数为8,那么一个executor中最多同是并发执行8个task;

总结

Job----> 一个或多个stage---> 一个或多个task