spark运行流程概述

最新推荐文章于 2023-12-12 13:11:27 发布
最新推荐文章于 2023-12-12 13:11:27 发布
阅读量295 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/djx1085213329/article/details/104144207
版权

spark运行流程概述

在这里插入图片描述

  1. 用户通过spark-submit脚本提交应用
  2. spark-submit脚本启动Driver驱动器程序，调用用户定义的main()方法并创建SparkContext.创建的目的是为了初始化Spark的运行环境。
  3. Driver向ClusterManager申请资源以启动Executor执行器节点
  4. ClusterManager为Dirver启动Executor
  5. Driver根据程序中对RDD的转化操作和行动操作分解成task分发给Executor进程
  6. task在Executor中计算并保存结果
  7. Driver中程序的main()方法执行完毕或调用SparkContext.stop()，Driver会终止Executor进程
  8. Driver通知ClusterManager释放资源
左岸Jason
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark总体架构和运行流程
01-07
本节将首先介绍 Spark 的运行架构和基本术语，然后介绍 Spark 运行的基本流程，最后...图 1 Spark运行架构 Driver 是运行 Spark Applicaion 的 main() 函数，它会创建 SparkContext。SparkContext 负责和 Cluster M
第一部分：Spark基础篇
index_test的博客
09-05 6427
Spark基础篇包含：job运行流程、任务提交阶段、运行原理、与MR的区别、RDD、DAG、算子类等知识点
Spark 作业执行流程
晓晓的天空
03-14 4069
Spark 作业执行流程
spark运行流程
qq_45450889的博客
06-29 838
执行计算：Spark执行计算时采用惰性求值的方式，即不会立即执行转换操作，而是记录下转换操作的逻辑。转换数据：通过转换操作对加载的数据进行处理和转换。Spark提供了丰富的转换操作，如映射、过滤、排序、聚合等，可以将数据进行清洗、筛选和加工。行动操作：行动操作是Spark计算流程中的最后一步，其作用是触发Spark的计算，并将结果返回给驱动程序或输出到外部存储介质。缓存数据：可选步骤，如果需要多次使用某个数据集，可以将其缓存到内存中，以便反复访问，加快后续计算速度。
Spark执行流程详解
qq_42456324的博客
04-29 4435
1、在命令行执行提交命令时，在spark-submit脚本中，调用了SparkSubmit类中的mainMethod.invoke方法，这个类通过反射，调用我们自定义的类。 2、我们自定义类中的main方法开始执行，初始化了SparkConf和SparkContext，在SparkContext对象被初始化的时候，构造出来DAGScheduler和TaskScheduler。 3、Driver端会对我们的代码进行解析，根据算子记录rdd之间的依赖关系，生成DAG有向无环图。 当程序触发action..
【Spark精讲】Spark任务运行流程
最新发布
话数Science
12-12 2194
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
SparkTask的执行流程1
08-08
SparkTask的执行流程1
Spark V3.0 概述.pdf
07-01
Spark V3.0 概述
Spark V3.0 概述.png
07-01
Spark V3.0 概述
Spark运行架构
02-25
本文来自于cnblogs，主要介绍了Spark的定义，简单的流程，运行流程及展示，对于结果的分析等等。lApplication：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver...
大数据之Spark运行流程
weixin_43339889的博客
04-22 406
Spark On Yarn两种模式的运行流程
Spark的架构与基本运行流程
syp_net的博客
12-11 1173
Spark的架构与基本运行流程
Spark核心概念释义及基本运行流程
星空的风fly
03-27 3499
一个application包括driver program和executors，一个application应用可以有多个job组成，一个action算子对应一个job，一般而言，程序中有几个action算子就会产生几个job。一个job可以由多个stage组成，一个stage对应多个task，task由dirver发送到各个executor，task运行在executor中，exector以并行的方式执行task。每个Executor独占一个Container
Spark 的运行流程
谦卑t
01-12 820
目录 1.1、Spark的基本运行流程 1.2、运行流程图解 1.3、SparkContext初始化 1.4、Spark运行架构特点 1.5、DAScheduler 1.6、TaskScheduler 1.7、SchedulerBackend 1.8、Executor 1.1、Spark的基本运行流程 1、构建 DAG 使用算子操作 RDD 进行各种 transfor...
spark运行基本流程
qq_21705851的博客
03-10 4597
一、基本流程 1.构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； 2.资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上； 3.SparkCont...
Spark执行流程（详细）
不二先生的笔记
08-04 4984
大体执行流程 1.driver执行main方法（懒执行），action算子触发触发job 2.根据宽窄依赖划分stage 3.每个stage会被整理成taskset(包含多个task)4.每个task分发到具体的Executor去执行 完整调度流程 1.当Driver启动的时候，初始化时会相应的创建DagScheduler、TaskScheduler 2.TaskScheduler初始化的时候，会创建SchedulerBacked(主要负责集群之间的通讯) 3.Sc...
Spark运行流程
qq_42160456的博客
05-18 2940
1、任务调度流程 1、当一个spark任务提交的时候，首先需要为spark application创建基本的运行环境，也就是在Driver创建sparkContext，同时构建DAGScheduler和TaskScheduler 2、SparkContext向资源管理器申请exector运行资源 3、资源管理器为exector分配资源并创建exector进程，exector的运行状况通过心跳机制向资源管理器进行汇报 4、sparkContext根据RDD的依赖关系构建DAG图，构建完毕后，将DAG图提交给
Spark简介及运行流程图文解说
weixin_42163700的博客
06-20 3120
初识Spark的朋友 ，下面是我汇总后的Spark总结和自己整合的一张流程图，希望可以帮助到你，也可以给我提出建议，一同进步1.认知Spark：Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表...
spark 执行流程
08-23
Spark的执行流程包括以下几个步骤： 1. 创建SparkSession：SparkSession是Spark应用程序的入口点，用于与Spark进行交互。在创建SparkSession时，需要指定应用程序的名称和配置信息。 2. 创建RDD或DataFrame：Spark支持两种数据抽象类型：弹性分布式数据集（RDD）和数据框架（DataFrame）。RDD是Spark中最基本的数据结构，而DataFrame则是基于RDD的高级数据结构。你可以从外部数据源（如文件系统、数据库等）中读取数据，或者通过转换操作从已有的RDD或DataFrame中创建新的数据集。 3. 转换操作：Spark提供了一系列的转换操作，如map、filter、reduce等。转换操作并不立即执行，而是会生成一个新的RDD或DataFrame。这些转换操作可以链式调用，形成一个转换操作的有向无环图（DAG）。 4. 行动操作：当需要获取计算结果时，就需要触发行动操作。行动操作会触发Spark引擎根据转换操作的DAG来执行计算，并将结果返回给驱动程序。 5. 优化执行计划：在执行转换操作之前，Spark会对转换操作的DAG进行优化，以提高执行效率。优化过程包括选择最佳的执行计划、重排转换操作的顺序、合并相邻的转换操作等。 6. 任务划分与调度：Spark将执行计划划分为一系列的任务，并将这些任务分发到集群中的多个执行器上并行执行。任务划分的策略可以根据数据分区进行优化，以实现数据本地性和负载均衡。 7. 执行任务：每个执行器会接收到一些任务，并根据指定的转换操作进行计算。计算过程中，Spark会利用内存和磁盘进行数据交换和缓存，以提高计算效率。 8. 结果返回：当所有任务执行完成后，计算结果会被返回给驱动程序，可以进行进一步的处理或输出。 需要注意的是，Spark的执行流程是延迟计算的，只有在触发行动操作时才会真正执行计算。这种延迟计算的特性使得Spark可以对计算进行优化，并支持容错和增量计算等特性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值