大数据之Spark运行流程

已于 2023-06-23 17:08:38 修改
阅读量798 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： 大数据 spark hadoop
于 2023-04-22 09:31:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43339889/article/details/130300081
本文详细介绍了Spark On Yarn的Client模式和Cluster模式的运行流程。在Client模式中，Driver在本地运行，向Yarn申请资源，启动Executor执行任务；在Cluster模式下，Driver作为ApplicationMaster在集群内运行，负责任务的调度和执行。两种模式的主要区别在于Driver的运行位置。

文章目录

前言

上篇文章有讨论到Spark On Yarn的两种部署模式，如果有不清楚的地方，可以再看看，附上对应文章的链接：Spark的部署模式，本篇文章主要讨论Spark On Yarn两种部署模式的运行流程。

（一）Spark On Yarn集群的Client模式运行流程

在这里插入图片描述
该模式的Driver程序在本地Client端运行；

  1. 大致流程：先在提交任务的节点上启动Driver程序，然后向Yarn集群申请运行资源，申请到运行资源后开始执行任务；
  2. 详细流程如下：
    （1）在提交任务的节点上启动Driver程序，执行Main函数，创建SparkContext对象
    （2）Driver程序启动成功后，向ResourceManager申请启动ApplicationMaster
    （3）ResourceManager接收到请求后，在适当的一台NodeManager节点启动ApplicationMaster
    （4）ApplicationMaster启动成功后与Driver程序上的SparkContext对象通信，并根据SparkContext提供的任务信息向Reso
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据之Spark环境搭建
weixin_43339889的博客
03-19 1373
本文主要介绍Spark相关环境搭建
大数据领域Spark入门指南：从零基础到实战应用
大数据洞察的博客
04-14 692
本文旨在为大数据领域的初学者提供一条清晰的学习路径，从Spark的基础概念到实际应用。我们将覆盖Spark的核心组件、编程模型、性能优化技巧以及与其他大数据技术的集成。本文首先介绍Spark的基本概念和架构，然后深入探讨其核心组件和编程模型。接着我们将通过实际案例展示Spark的应用，最后讨论性能优化和未来发展趋势。Spark: 一个快速、通用的集群计算系统: 弹性分布式数据集，Spark的核心数据结构DataFrame: 以列形式组织的分布式数据集合: 有向无环图，Spark任务执行的逻辑计划。
Spark入门实战系列--4.Spark运行架构
yirenboy的专栏
08-19 6288
Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。
Spark 的运行流程
谦卑t
01-12 1304
目录 1.1、Spark的基本运行流程 1.2、运行流程图解 1.3、SparkContext初始化 1.4、Spark运行架构特点 1.5、DAScheduler 1.6、TaskScheduler 1.7、SchedulerBackend 1.8、Executor 1.1、Spark的基本运行流程 1、构建 DAG 使用算子操作 RDD 进行各种 transfor...
Spark任务运行流程
最新发布
m0_53571279的博客
09-29 793
组件核心职责客户端（Client）提交任务，传递参数和应用代码管理集群资源（如 YARN RM 分配 Container），协调 Driver 和 Executor 启动Driver（AM）解析代码生成 DAG，划分 Stage，分配 Task，监控任务执行和容错Executor执行 Task，处理数据转换和 Shuffle，管理内存和线程池外部存储（HDFS 等）存储输入数据和输出结果，支持分布式读写这个流程中，
Spark----Spark 的运行流程
XiaodunLP的博客
02-14 559
Spark 的运行流程  1、Spark 的基本运行流程  1、构建 DAG 使用算子操作 RDD 进行各种 transformation 操作，最后通过 action 操作触发 Spark 作业运行。 提交之后 Spark 会根据转换过程所产生的 RDD 之间的依赖关系构建有向无环图。      2、DAG 切割 DAG 切割主要根据 RDD 的依赖是否为宽依赖来决定切割节点，...
spark运行基本流程
qq_21705851的博客
03-10 4852
一、基本流程 1.构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； 2.资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上； 3.SparkCont...
Spark运行流程
qq_42160456的博客
05-18 3128
1、任务调度流程 1、当一个spark任务提交的时候，首先需要为spark application创建基本的运行环境，也就是在Driver创建sparkContext，同时构建DAGScheduler和TaskScheduler 2、SparkContext向资源管理器申请exector运行资源 3、资源管理器为exector分配资源并创建exector进程，exector的运行状况通过心跳机制向资源管理器进行汇报 4、sparkContext根据RDD的依赖关系构建DAG图，构建完毕后，将DAG图提交给
大数据之spark
qq_73801124的博客
03-04 1562
Apache Spark™是一个多语言引擎，用于在单节点机器或集群上执行数据工程、数据科学和机器学习。Spark最初由美国加州大学伯克利分校的。
面试大数据岗位 spark相关问题汇总
03-07
- **Hadoop**：Spark可以运行在Hadoop之上，利用Hadoop的存储系统HDFS来存储数据。 - **Kafka**：Spark Streaming可以与Kafka结合，实现流式数据处理。 - **Flume**：Flume可以将日志数据实时传输到HDFS或者Kafka中...
spark运行的基本流程
京东科技开发者
07-02 1777
Stage的DAG通过最后执行Stage为根进行广度优先遍历， 遍历到最开始执行的Stage执行， 如果提交的Stage仍有未完成的父母Stage， 则Stage需要等待其父Stage执行完才能执行。我们都知道， spark计算模型是在分布式的环境下计算的， 这就不可能在单进程空间中容纳所有的计算数据来进行计算， 这样数据就按照Key进行分区， 分配成一块一块的小分区， 打散分布在集群的各个进程的内存空间中， 并不是所有计算算子都满足于按照一种方式分区进行计算。进程，对整个集群进行控制。
Spark运行基本流程
weixin_46529416的博客
12-20 2460
SparkContext对象代表了和一个集群的连接 具体流程： 首先为应用构建起基本的运行环境，即由Driver创建一个SparkContext，进行资源的申请、任务的分配和监控 资源管理器为Executor分配资源，并启动Executor进程 SparkContext根据RDD的依赖关系构建DAG图，DAG图提交给DAGScheduler解析成Stage，然后把一个个TaskSet提交给底层调度器TaskScheduler处理；Executor向SparkContext申请Task，Task Sche.
spark运行流程
qq_45450889的博客
06-29 1117
执行计算：Spark执行计算时采用惰性求值的方式，即不会立即执行转换操作，而是记录下转换操作的逻辑。转换数据：通过转换操作对加载的数据进行处理和转换。Spark提供了丰富的转换操作，如映射、过滤、排序、聚合等，可以将数据进行清洗、筛选和加工。行动操作：行动操作是Spark计算流程中的最后一步，其作用是触发Spark的计算，并将结果返回给驱动程序或输出到外部存储介质。缓存数据：可选步骤，如果需要多次使用某个数据集，可以将其缓存到内存中，以便反复访问，加快后续计算速度。
Spark的运行流程详解
Lyy1016的博客
07-29 1630
一、Spark提交应用任务的四个阶段： 总共提交的任务分为四个阶段，提交+执行： 1、在分配完毕executor以后，解析代码生成DAG有向无环图； 2、将生成的DAG图提交给DAGScheduler，这个组件在driver内，DAGScheduler负责切分阶段，按照DAG图中的shuffle算子进行stage阶段的切分，切分完毕阶段以后，按照每个阶段分别生成对...
Spark 的运行流程？
weixin_45422672的博客
01-01 531
Spark 是一个分布式计算框架，用于处理大规模数据集。
SPARK运行基本流程
weixin_39045757的博客
09-16 502
1）构建sparkContext 2）向资源管理器申请本次Spark运行需要的executor资源，并启动分布在各个节点上的executor 3）sparkContext进行任务拆解，并生达成任务集合（taskSet）并将任务集合交给任务调度器（Task Scheduler） 4）executor向任务调度器申请任务，任务调度器将任务分配给Executor并sparkContext将对应的应用程序...
《深入理解Spark》Spark运行流程
凌夜知惜
01-15 385
 
spark运行流程概述
djx1085213329的博客
02-02 393
spark运行流程概述 用户通过spark-submit脚本提交应用 spark-submit脚本启动Driver驱动器程序，调用用户定义的main()方法并创建SparkContext.创建的目的是为了初始化Spark的运行环境。 Driver向ClusterManager申请资源以启动Executor执行器节点 ClusterManager为Dirver启动Executor Driver根...
大数据Spark数据开发流程
10-24
大数据Spark数据开发流程主要包括以下几个步骤： 1. **数据采集**：利用各种手段获取数据，包括日志文件、数据库查询结果、Hadoop HDFS或者其他外部数据源。 2. **数据预处理**：清洗数据，去除冗余信息，填充缺失...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值