Spark中的基本概念

最新推荐文章于 2023-03-20 14:00:38 发布

livia*

最新推荐文章于 2023-03-20 14:00:38 发布

阅读量215

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/Hi_this_is_ID/article/details/103281119

版权

Spark 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

1、Application：表示你的应用程序
2、Dirver：表示main（）函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配与监控等。程序执行完毕后关闭SparkContext。
3、Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些Task，并且将数据储存在内存或者磁盘上。在Spark On Yarn模式下，其进程名为CoarseGrainedExecutor Backend，一个CoarseGrainedExecutor Backend进程仅有一个executor对象，它负责将Task包装成taskRunner，并从线程池中抽取出一个空闲线程运行Task，这样，每个CoarseGrainedExecutorBackend能并行运行Task的数据就取决于分配给它的CPU的个数。
4、Worker：集群中可以运行Application代码的节点，在Standalone模式下指的是通过slave文件配置的Worker节点，在Spark on Yarn模式中指的就是NodeManager节点
5、Task：在Executor进程中执行任务的工作单元，多个Task组成一个Stage
6、Job：包含多个task并行的运算，是由Action行为触发的
7、Stage：每个Job会被拆分成多组Task，作为一个TaskSet，其名称为Stage
8、DAGScheduler：根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler，其划分Stage的依据是RDD之间的依赖关系
9、TaskScheduler：将TaskSet提交给Worker（集群）运行，每个Executor运行什么Task就是在此处分配的。