Spark 内核

Spark内核

Spark内核泛指Spark的核心运行机制,包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等。

Spark核心组件

Driver

Spark驱动器节点,用于执行Spark任务中的main方法:

  1. 将用户程序转化为作业(job);
  2. 在Executor之间调度任务(task);
  3. 跟踪Executor的执行情况;
  4. 通过UI展示查询运行情况;

Executor

Spark Executor节点是一个JVM进程,负责在 Spark 作业中运行具体任务,任务彼此之间相互独立。Spark 应用启动时,Executor节点被同时启动,并且始终伴随着整个 Spark 应用的生命周期而存在。如果有Executor节点发生了故障或崩溃,Spark 应用也可以继续执行,会将出错节点上的任务调度到其他Executor节点上继续运行。
Executor两个核心功能:

  1. 负责运行组成Spark应用的任务,并将结果返回给驱动器进程;
  2. 它们通过自身的块管理器(Block Manager)为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在Executor进程内的,因此任务可以在运行时充分利用缓存数据加速运算。

Spark核心运行流程

任务提交-Driver进程-集群管理器-分配Executor并启动-Driver所需资源满足-main函数(懒执行)-action算子-反向推算-根据宽依赖划分stage-每一个stage对应一个taskset(中有多个task)–分发task到指定的Executor执行(本地化原则)-Executor不断与Driver通信,报告任务运行情况。

发布了100 篇原创文章 · 获赞 8 · 访问量 1万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 精致技术 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览