Spark运行原理

最新推荐文章于 2023-06-16 20:16:25 发布
最新推荐文章于 2023-06-16 20:16:25 发布
阅读量132 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46480050/article/details/107848350
版权

Spark运行原理

  • Application:Spark应用程序

    • 指用户编写的Spark应用程序,包含了Driver功能代码和分布在集群中多个节点运行的Executor代码

    • Spark应用程序,由一个或多个作业JOB组成
      在这里插入图片描述

  • Driver:驱动程序

    • Spark中的Driver即运行application的main()函数并创建SparkContext,其中创建SparkContext的目的是为了准备Spark应用程序的运行环境.在Spark中由SparkContext负责和ClusterManager通信,进行资源的申请,任务的分配和监控等;当Executor部分运行完毕后,Driver负责将SparkContext关闭.

    在这里插入图片描述

  • Cluster Manager:资源管理器

    • 指的是在集群上获取资源的外部服务,常用的有:Standalone,Spark原生的资源管理器,由Master负责资源的分配;Hadoop Yarn,由Yarn中的ResearchManager负责资源的分配;Messos,由Messos中的Messos Master负责资源管理

  • Executor:执行器

    • Application运行在Worker节点上的一个进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上,每个Application都有各自独立的一批Executor

    在这里插入图片描述

  • Worker:计算节点

    • 集群中任何可以运行Application代码的节点,类似于Yarn中的NodeManager节点.在Standalone模式中指的就是通过Slave文件配置的Worker节点,在Spark on Yarn 模式中指的就是NodeManager节点,在Spark on Messos 模式指的就是Messos Slave节点

    在这里插入图片描述

  • RDD:弹性分布式数据集

    • Resillient Distributed Dataset,Spark的基本计算单元,可以通过一系列算子进行操作

    在这里插入图片描述

  • 窄依赖

    • 父RDD每一个分区最多被一个子RDD的分区所用;表现为一个父RDD的分区对应一个子RDD的分区,或两个父RDD的分区对应一个子RDD的分区
      在这里插入图片描述

  • 宽依赖

    • 父RDD的每个分区都可能被多个子RDD分区所使用,子RDD分区通常对应所有的父RDD分区
      在这里插入图片描述

  • DAG:有向无环图

    • Directed Acycle graph,反应RDD之间的依赖关系

  • DAGScheduler:有向无环图调度器

    • 基于DAG划分Stage并以TaskSet的形式提交stage给TaskScheduler;负责将作业拆分成不同阶段的具有依赖关系的多批任务;最重要的任务之一就是:计算作业和任务的依赖关系,指定调度逻辑.在SparkContext初始化的过程中被实例化,一个SparkContext对应创建一个DAGScheduler

    在这里插入图片描述

  • TaskScheduler

    • 将Taskset提交给worker运行并汇报结果;负责每个具体任务的实际物理调度.

    在这里插入图片描述

  • Job:作业

    • 由一个或者多个调度阶段所组成的一次计算作业;包含多个Task成的并行计算,往往由Spark Action催生,一个job包含多个RDD及作用于RDD上的各种Operation

    在这里插入图片描述

  • Stage:调度阶段

    • 一个任务集对应的调度阶段;每个job会被拆分为很多组Task,每组Task被称为Stage,也可称TaskSet,一个作业Fenwick多个阶段;Stage分成两种类型ShuffleMapStage,ResultStage

    在这里插入图片描述

  • TaskSet:任务集

    • 由一组关联的,但是相互之间没有shuffle依赖关系的任务所组成的任务集

      • 一个stage创建一个TaskSet
      • 为Stage的每个RDD分区创建一个Task,多个Task封装成TaskSet

    在这里插入图片描述

  • Task:任务

    • 被送到某个Executor上的工作任务;单个分区数据集上的最小处理流程单元

    在这里插入图片描述

  • 总体如下图所示

在这里插入图片描述

  • Spark运行基本流程

在这里插入图片描述

  1. 构建Spark Application运行环境
  2. SparkContext向资源管理器注册
  3. SparkContext向资源管理器申请运行Executor
  4. 资源管理器分配Executor
  5. 资源管理器启动Executor
  6. Executor发送心跳至资源管理器
  7. SparkContext构成DAG图
  8. 将DAG图分解成Stage
  9. 将Stage发送给TaskScheduler
  10. Executor向SparkContext申请Task
  11. TaskScheduler向Task发给Executor运行
  12. Executor运行
  13. 同时SparkContext将应用程序代码发送给Executor
  14. Task在Executor上运行,运行完毕释放所有资源
m0_46480050
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark运行原理解析
09-07
spark运行原理解析
Spark运行原理【史上最详细】
热门推荐
Spark技术咖的博客
08-16 2万+
Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。 1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源（cpu、内存等） 2、Cluster manager分配应用程序执行需要的资源，在Worker节点上创建Executor 3、SparkContext...
Spark工作原理
qq_40905284的博客
02-27 1412
Spark工作原理
图文详解Spark的运行原理（入门必看）
weixin_43958974的博客
12-31 3033
前言 上期文章，介绍了 Spark 是包含多个紧密集成的组件，这些组件结合密切并且可以相互调用，这样我们可以像在平常软件项目中使用程序库一样，组合使用这些的组件。 本期学习目标 Spark 的运行模式 Spark 的集群架构 Worker 的工作职责 Driver 的工作职责 Spark的运行模式 就底层而言，Spark 设计为可以高效地在一个到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器上运行。 Spark 的运行模式主要有： .
spark的rdd的含义_Spark核心技术原理透视一（Spark运行原理）
weixin_31499265的博客
01-11 253
原标题：Spark核心技术原理透视一(Spark运行原理)在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、Mac...
spark运行原理讲解
03-01
整理网络上关于spark的资料，对于spark1.0 架构设计，执行细节进行详细描述，非常适合于了解基本spark之后继续学习spark人员做深入了解
10 实战解析spark运行原理和RDD解密
04-13
10 实战解析spark运行原理和RDD解密
Spark核心技术原理透视一Spark运行原理.pdf
最新发布
09-19
Spark核心技术原理透视一Spark运行原理.pdf
Spark 基本架构及运行原理
12-08 1万+
Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。 与Hadoop MapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（Hadoop MapReduce采用的是进程模型），减少任务的启动
【Spark】运行原理
懂得一千零一种,赋予你失败的方法！
11-24 415
Spark原理 目录： 一、总体介绍 1.1 Spark集群组成 1.2 逻辑执行图 1.3 物理执行图 二、逻辑执行图 2.1 明确逻辑计划的边界 2.2 RDD的生成 2.3 RDD之间的依赖关系 2.4 RDD之间的依赖关系 — 宽、窄依赖 2.5 窄依赖的类别 三、物理执行图 四、运行过程 五、Spark shuffle原理 一、总体介绍 1.Spark集群组成： 案例： class WordCounts { @Test def test: Unit ={
【大数据处理学习笔记】2.3 Spark运行架构与原理
weixin_63745352的博客
06-16 150
Spark有多种运行模式，可以运行在一台机器上，称为本地（单机）模式，也可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行，称为Spark On YARN模式，还可以使用Spark自带的资源调度系统，称为Spark Standalone模式。Driver进程向Cluster Manager申请资源，Cluster Manager接收到Application的注册请求后，会使用自己的资源调度算法，在Spark集群的Worker节点上，通知Worker为应用启动多个Executor。
SparkSql运行原理详细解析
hyunbar的博客
03-14 632
传统关系型数据库中 ，最基本的sql查询语句由projecttion (field a,field b,field c) , datasource (table A) 和 fieter (field a >10) 三部分组成。 分别对应了sql查询过程中的result , datasource和operation ,也就是按照result ——> datasource ——&...
spark 原理简述
进击30K的专栏
10-26 917
1 引言 1.1 Hadoop 和 Spark 的关系 　　 Google 在 2003 年和 2004 年先后发表了 Google 文件系统 GFS 和 MapReduce 编程模型两篇文章,. 基于这两篇开源文档,06 年 Nutch 项目子项目之一的 Hadoop 实现了两个强有力的开源产品:HDFS 和 MapReduce. Hadoop 成为了典型的大数据批量处理架构,由 HDFS 负责静态数据的存储,并通过 MapReduce 将计算逻辑分配到各数据节点进行数据计算和价值发现.之后以 HDF
Spark作业基本运行原理解析
CWS_chen
12-31 7945
1、基本原理 Spark作业的运行基本原理如下图所示： 我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。提交作业的节点称为Master节点，Driver进程就是开始执行你Spark程序的那个Main函数（Driver进程不一定在Master节点上）。根据你使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动，也...
大数据基础：Spark工作原理及基础概念
QcloudCommunity的博客
11-13 8826
导语 |Apache Spark 是专为大规模数据处理而设计的快速通用计算引擎，在数据挖掘和机器学习领域有着广泛的应用，现在也已形成一个高速发展、应用广泛的生态系统。本文将为大家详细介...
Spark之任务调度（DagScheduler & TaskScheduler）
laiwenqiang的专栏
11-25 5590
两种Scheduler 在创建SparkContext对象的时候，一个核心的是模块就是调度器（Scheduler），在spark中Scheduler有两种： TaskScheduler（是低级的调度器接口）。TaskScheduler负责实际每个具体Task的物理调度。DagScheduler（是高级的调度）。DAGScheduler负责将Task拆分成不同Stage的具有依赖关系（包
sparkstreaming 运行原理
05-09
Spark Streaming 的运行原理可以概括为以下几个步骤： 1. 数据输入 Spark Streaming 可以从多种数据源获取数据，例如 Kafka、Flume、HDFS、Socket 等。它会将输入的数据流划分为一系列的微批次（micro-batch）。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值