Spark之Spark内核工作流程

这是一个较为细粒度的Spark运行流程。

  • 我们写的Spark程序叫做Application。
  • Application会通过spark-submit来提交给Spark集群来运行。具体来说就是spark-submit会通过反射机制来创建和构造一个DriverActor进程出来。这里的Driver就是我们的驱动程序,它负责执行我们的代码,当然在执行代码的时候首先会初始化SparkContext。
  • 在初始化SparkContext的时候主要会执行两件事情。第一就是构建TaskSchedulerDAGScheduler。接下来进行详细的解释。

        1)在我们写的Spark的代码中有很多的算子操作。当代码执行到每一个action的时候就会创建一个job。然后这个job会交给DAGScheduler,DAGScheduler会将job划分为多个stage,然后每个stage创建一个TaskSet再将这个TaskSet交给TaskScheduler。

       2) TaskScheduler首先会向Master注册这个Application。Master在接收到注册信息之后会使用自己的资源调度算法在Spark集群的Woker上为这个Application启动多个Executor。Executor在启动之后会反向注册给TaskScheduler。这时TaskScheduler就会将TaskSet中的任务提交到Executor运行。而Executor每收到一个task都会用TaskRunner来封装这个Task,然后再取出一个线程来执行这个task。

       3)Spark就是通过这样的通过Stage分批次的作为TaskSet提交到executor来执行的。其中每一个task对应着一个partition来的数据来执行。

附加说明:

  • 上面我们提到了TaskRunner,它具体做的事情就是将我们写的代码也就是执行的算子和函数反序列化到各个工作节点去执行。
  • Task有两种类型,ShuffleMapTask和ResultTask,只有最后一个Stage所涉及的task为ResultTask其余都是ShuffleMapTask。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Elong_Hu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值