Spark 基本术语表

最新推荐文章于 2021-10-25 09:31:36 发布

liuchengxu_

最新推荐文章于 2021-10-25 09:31:36 发布

阅读量1.5k

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/simple_the_best/article/details/70843756

版权

这篇博客主要介绍了Spark的基本术语，包括Application、Driver Program、Cluster Manager、Worker Node、Executor和Task等概念。Application是基于Spark的用户程序，Driver Program是运行main函数并创建SparkContext的程序，Cluster Manager负责在集群上分配资源。Worker Node是集群中的节点，Executor是在worker node上为特定应用启动的进程，执行任务并存储数据。Task是executor上的工作单元，Job是并行计算的集合，由多个任务组成，而Stage是Job拆分的任务组。

摘要由CSDN通过智能技术生成

以下内容来自 http://spark.apache.org/docs/2.1.0/cluster-overview.html#glossary , 需要对 spark 的整个运行过程有所了解才能真正理解这些术语的涵义.

可以先看一下 http://dblab.xmu.edu.cn/blog/972-2 了解一下概况.

术语	术语简译	涵义
application	应用	基于 Spark 构建的用户程序. 一般包括了集群上的一个 driver 程序与多个 executor
application jar	应用的 jar 包	包含了用户的 Spark application 的一个 jar 包. 在某些情况下用户可能想要创建一个囊括了应用及其依赖的 “超级” jar 包. 但实际上, 用户的 jar 不应该包括 Hadoop 或是 Spark 的库, 这些库会在运行时被进行加载.
driver program	驱动程序	运行 application 的 main() 函数和创建