Spark HA原理架构图

最新推荐文章于 2022-11-05 01:59:04 发布

weixin_34148340

最新推荐文章于 2022-11-05 01:59:04 发布

阅读量110

点赞数

文章标签：大数据 python

原文链接：https://my.oschina.net/tearsky/blog/629286

版权

2019独角兽企业重金招聘Python工程师标准>>>

Task是在集群上运行的基本单位。一个Task负责处理RDD的一个partition。RDD的多个patition会分别由不同的Task去处理。当然了这些Task的处理逻辑完全是一致的。这一组Task就组成了一个Stage。有两种Task：
org.apache.spark.scheduler.ShuffleMapTask
org.apache.spark.scheduler.ResultTask

ShuffleMapTask根据Task的partitioner将计算结果放到不同的bucket中。而ResultTask将计算结果发送回Driver Application。一个Job包含了多个Stage，而Stage是由一组完全相同的Task组成的。最后的Stage包含了一组ResultTask。