Spark基本概念

最新推荐文章于 2023-03-13 10:34:18 发布

suchang_csdn

最新推荐文章于 2023-03-13 10:34:18 发布

阅读量786

点赞数 2

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/suchang1127/article/details/49405573

版权

Spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Application
指的是用户编写的Spark应用程序，包含了含有一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。

Driver
运行Application的main函数并创建SparkContext，SparkContext的目的是为了准备Spark应用程序的运行环境。SparkContext负责资源的申请、任务分配和监控等。当Executor运行结束后，Driver负责关闭SparkContext。

Executor
运行在Worker节点上的一个进程，该进程负责运行某些Task，并且负责将数据存放在内存或磁盘中。在Spark On Yarn模式下，其进程名称为CoarseGrainedExecutorBackend。一个CoarseGrainedExecutorBackend进程有且只有一个executor对象，它持有一个线程池，每个线程可以执行一个Task。

Cluster Manager
指的是在集群上获取资源的外部服务，目前有三种：
1) Standalone：Spark原生的资源管理器，由Master负责资源分配。
2) Apache Mesos：与Hadoop MapReduce兼容性良好的一种资源调度框架。
3) Hadoop Yarn：主要指Yarn中的ResourceManager。

Worker
集群中任何可以运行Application代码的节点。在Standalone模式中指的是通过slave文件配置的Worker节点，在Spark On Yarn模式中指的是NodeManager节点。

RDD（弹性分布式数据集）
Spark基本计算单元，是Spark最核心的东西。表示已被分区、被序列化、不可变的、有容错机制的、能被并行操作的数据集合。

Operation
作用于RDD的各种操作分为transformation和action。

Job
一个Application可以产生多个Job，其中Job由Spark Action触发产生。每个Job包含多个Task组成的并行计算。

Stage
每个Job会拆分为多个Task，作为一个TaskSet,称为Stage；Stage的划分和调度是由DAGScheduler负责的。Stage分为Result Stage和Shuffle Map Stage。

DAGScheduler
根据Job构建基于Stage的DAG，划分Stage依据是RDD之间的依赖关系。

Task
Application的运行基本单位，Executor上的工作单元。其调度和管理又TaskScheduler负责。

TaskScheduler
将TaskSet提交给Worker运行，每个Worker运行了什么Task于此处分配。同时还负责监控、汇报任务运行情况等。

SchedulerBackend
SchedulerBacked也是一个trait.它的实现与底层资源调度系统（如Mesos，Yarn）进行交互，配合TaskScheduler实现具体任务执行所需的资源分配。核心接口是receiveOffers。