spark任务提交流程与管依赖和窄依赖

最新推荐文章于 2024-08-11 23:51:02 发布
最新推荐文章于 2024-08-11 23:51:02 发布
阅读量289 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16563637/article/details/82823276
版权

spark内核执行流程图
spark内核执行流程图
代表4个阶段
1构建RDD,进行join,groupBy,filter操作,形成DAG有向无环图(有方向,没有闭环),在最后一个action时完成DAG图,代表着数据流向
2提交DAG为DAGScheduler,DAG调度器,主要是将DAG划分成一个个stage,并且提交stage
切分的依据是宽依赖,也就是有网络的传递
在这里插入图片描述
3TaskScheduler,Task调度器,启动task通过cluster manager(严格意义上是driver),先启动executer,再通过driver提交task到worker下面的executer.straggling tasks再起一个任务进行任务重置(如果100个任务99个完成一个没完成,起一个任务,和没完成的任务计算同样的数据)
4worker,executer开始执行task,block manager是管理分区的,在executer上面开线程,执行业务逻辑
管依赖和窄依赖
在这里插入图片描述
恢复的时候得根据依赖关系恢复(checkPoint)
窄依赖:父分区的数据只给一个子分区
宽依赖:父分区的数据给多个子分区

qq_16563637
关注
专栏目录
Spark10：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 2227
一、宽依赖和窄依赖 1、窄依赖 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 2、 宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、reduceB
图解Spark任务提交执行流程总结
伟红-long-term
08-30 917
一、Spark基于Standalone任务提交 根据Driver在集群中的位置分为两种模式： 一种是Standalone-Clien模式，另一种是Standalone-Cluster模式 (1）Standalone-Clien模式 Standalone-Clien模式，Driver运行在本地的客户端上 提交命令 ./spark-submit --master spark://node1:70...
spark任务的提交流程
gggSam的博客
08-19 286
spark任务的提交流程（yarn） spark一般都是部署到yarn上使用的，所以就说y问的最多的就是arn的提交流程，两种模式最大的区别就是driver端的执行位置 Yarn Client模式 第一步，Driver端在任务提交的本地机上运行 第二步，Driver启动之后就会和ResourceManager通讯，申请启动一个ApplicationMaster 第三步，ResourceManager就会分配container容器，在合适的nodemanager上启动ApplicationM.
Spark任务提交流程
墨玉浮白的博客
04-21 2459
文章目录1.Standalone-Client2.Standalone-cluster3.Yarn-Client模式4.Yarn-Cluster 1.Standalone-Client [root@node4 bin]# ./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 100 1.Cl
Spark作业提交
最新发布
jpfx6008的博客
08-11 365
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
spark提交任务流程
m0_37967990的博客
04-28 1544
spark提交代码的两种方式：Standalone、Yarn。
Spark学习之路 （七）Spark 运行流程
weixin_33901843的博客
04-25 222
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行...
Spark任务的提交流程
下山化缘的DJ
07-16 427
Spark任务的提交流程 (1)、首先将程序打成 jar 包 (2)、使用spark-submit 脚本提交任务到集群上运行 (3)、运行 sparkSubmit 的 main 方法，在这个方法中通过反射的方式创建我们编写的主类的实例对象，然后调用 main 方法，开始执行我们的代码（注意，我们的 spark 程序中的 driver就运行在 sparkSubmit 进程中） (4)、当代码运行到创建 SparkContext 对象时，那就开始初始化 SparkContext 对象了 (5)、在初始化 Spa
深入理解spark的工作机制，spark任务提交和执行流程
qq_36770189的博客
08-27 1292
spark的工作机制： 用户在client端提交作业后，会由Driver运行main方法并创建spark context上下文。SparkContext向资源管理器（可以是Standalone，Mesos，Yarn）申请运行Executor资源，并启动StandaloneExecutorbackend， Executor向SparkContext申请Task。SparkContext...
原创 | 8 张彩图讲解 Spark 任务提交流程
a934079371的博客
02-20 428
点击上方 "大数据肌肉猿"关注,星标一起成长后台回复【加群】，进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度看本文之前需要先了解 Spark 的基本角色，因为本...
Spark学习笔记之（二）：Spark 提交任务流程与任务生成
u010737756的博客
07-02 913
Spark 提交 job 流程1.Spark 提交 job 流程2.提交脚本中的参数解析2.1 -jar 什么意思3.Excutor 怎么获取 task 1.Spark 提交 job 流程 2.提交脚本中的参数解析 2.1 -jar 什么意思 3.Excutor 怎么获取 task
spark提交任务的流程
流的博客
02-15 724
1.spark任务提交阶段划分 spark提交任务分为五个状态，五个状态之间的有四个转换过程： （1）根据代码中的Transformations确定RDD。 （2）根据RDD确定RDD的类型和它们之间的血统关系，生成一个DAG。 （3）将DAG提交给DAGScheduler来划分出不同的task，以及task执行顺序和依赖关系。 （4）TaskScheduler调度任务，采用集群中配置的调度方式...
Spark 任务提交流程说明
Small_Ran的博客
07-02 5564
本篇主要阐述 Spark 任务提交的流程，其主要目的在于通过了解 Spark 任务提交可以清楚大概的流程，并知道每一步是做什么；当遇到问题可以快速的知道是什么环节或者哪一步骤出现了问题，及时定位到问题并解决。目前Spark官方支持五中集群管理模式，分别是 Standalone、Yarn、Mesoes、Kubernetes、Amazon EC2 等。本篇文章主要阐述笔者平时经常使用的 Standalone 与 Yarn 集群管理模式。..................
Spark系列文章一：Spark 提交任务流程详解
myc1234567的博客
10-18 8123
一、spark提交任务流程概述 1.1、流程概述 1、构建spark执行环境（初始化sparkcont）； 2、SparkContext向资源管理器注册并申请Executor资源； 3、资源管理器分配Executor资源，Executor向资源管理器发送心跳汇报状态； 4、Executor向sc注册并申请task； 5、sc向Executor发送task，Executor执行task； 6、运行完成后，sc向资源管理器申请注销资源。 1.2、流程图解（多图） 二、spark...
Spark任务提交全流程
04-22
Spark任务提交的全流程包括以下步骤： 1. 编写Spark应用程序代码。 2. 打包应用程序代码，并将其上传到HDFS或本地文件系统。 3. 使用spark-submit命令来提交应用程序。其中，需要指定应用程序的jar包路径、主类名、应用程序使用的资源等信息。 4. Spark Driver程序启动后，会向Cluster Manager申请资源。Cluster Manager会根据当前可用的资源情况向Driver程序分配Executor或Driver Node节点。 5. Driver程序将需要执行的任务划分成多个Stage，并为每个Stage创建一个TaskScheduler，该TaskScheduler会将Task分配给已分配的Executor节点。 6. Executor节点接收到Task后，首先会从BlockManager中读取依赖的数据，并将结果缓存在本地内存或磁盘中。 7. Executor节点完成Task后，将结果写回到BlockManager，供下一个Stage使用。 8. 当所有Task执行完成后，Spark Driver程序会将计算结果写回到HDFS或本地文件系统。 总的来说，Spark任务提交的全流程包括应用程序编写、打包、提交、资源申请、任务划分、Task调度、数据存取和结果输出等多个步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值