RDD任务切分中间分为:Application、Job、Stage和Task。Application->Job->Stage-> Task每一层都是1对n的关系。
1)Application:初始化一个SparkContext即生成一个Application一般一个spark程序就是一个任务。
2)Job:一个Action算子就会生成一个Job,一个spark程序会有多个行动Action算子,所以一个Application会对应多个任务。
3)Stage:根据RDD之间的依赖关系的不同将Job划分成不同的Stage,遇到一个宽依赖则划分一个Stage。
4)Task:Stage是一个TaskSet,将Stage划分的结果发送到不同的Executor执行即为一个Task。
RDD的任务划分
最新推荐文章于 2023-06-14 14:09:50 发布