[Spark] 手撕Job、Stage、Task划分机制

Spark中：
1、根据算子是否是行动（Action）算子，来划分Job；
2、根据算子运算是否需要洗牌（Shuffle），来划分Stage；
3、根据RDD的分区数，来划分Task。

下面以例子来进行说明。

首先启动一个Spark的Application：

pyspark --queue gld

Driver的核数和内存，Executor的实例数、核数和内存都是默认值，即–driver-cores=1, --driver-memory=1G, --num-executors=2, --executor-cores=1, --executor-memory=1G。

例子1

初始化RDD并进行运算：

rdd = sc.parallelize([1,3,2,5,7,9,3,5,4], 3)
rdd.distinct().collect() # [9, 3, 1, 4, 7, 5, 2]
rdd.filter(lambda x:x % 2!=0).collect() # [1, 3, 5, 7, 9, 3, 5]

问题：这段代码执行后，有多少个Job、Stage和Task？

第一行代码初始化了一个3个分区的RDD；
第二行代码distinct转换算子之后接collect行动算子；
第三行代码filter转换算子之后接collect行动算子。

总共有2个行动算子，所以总共有2个Job：

一个Job里，有distinct和collect，其中distinct有Shuffle操作，算一个Stage，collect也要算一个Stage，所以有2个Stage，两个Stage处理的RDD都有3个分区，所以有2×3=6个Task；
另一个Job里，有filter和collect，filter没有Shuffle操作，所以不算一个Stage，只有collect算一个Stage，所以有1个Stage，这个Stage处理的RDD有3个分区，所以有3个Task；

所以，这段代码执行后，共有2个Job，3个Stage，9个Task。

下面通过Spark Web UI来看：
Jobs：

Stages：

9个Task具体在哪个Executor里执行的呢？

例子2

x = sc.parallelize([("a", 1), ("b", 4)])
y = sc.parallelize([("a", 2), ("a", 3), ("c", 5)], 3)
r = x.join(y)
r.collect() # [('a', (1, 3)), ('a', (1, 2))]

只有一个collect行动算子，所以只有1个Job。这个Job里，join是Shuffle操作，这里划分了一个Stage，collect也划分了一个Stage，所以共有2个Stage。

Stage 0：x.join(y)，输入的x有2个分区，y有3个分区，总共5个分区，所以这里有5个Task。
Stage 1：collect() ，输入的r有5个分区，所以这里也有5个Task。

所以，总共有1个Job，2个Stage，10个Task。