图解Spark任务提交执行流程总结

最新推荐文章于 2023-07-01 09:08:02 发布
最新推荐文章于 2023-07-01 09:08:02 发布
阅读量883 收藏 8
点赞数 2
分类专栏： Spark 大数据 Linux系统 文章标签： Spark 任务提交 执行流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41587198/article/details/100159205
版权
本文详细介绍了Spark在Standalone和Yarn两种环境下的任务提交执行流程，包括Client模式和Cluster模式。在Standalone模式中，Driver可以运行在客户端或集群中，而在Yarn模式下，Driver同样可以在客户端或集群内运行。对于生产环境，推荐使用Cluster模式以避免客户端网卡流量激增。文章还总结了Spark运行的基本概念和流程，涉及DAGScheduler、TaskScheduler等关键组件的角色和任务。
摘要由CSDN通过智能技术生成

一、Spark基于Standalone任务提交

根据Driver在集群中的位置分为两种模式：

  • 一种是Standalone-Clien模式，另一种是Standalone-Cluster模式

(1）Standalone-Clien模式

Standalone-Clien模式，Driver运行在本地的客户端上

提交命令
  • ./spark-submit --master spark://node1:7077 --class 包名.类名 jar包 参数
  • ./spark-submit --master spark://node1:7077 –deploy-mode client --class 包名.类名 jar包 参数

在这里插入图片描述

执行流程
  1. spark集群启动后，Worker向Master注册信息
  2. 在客户端提交任务后，会在客户端启动Driver
  3. Driver向Master申请资源
  4. Master找到满足资源的Worker节点启动Executor
  5. Executor启动之后，向Driver反向注册
  6. Driver发送task到Executor，执行情况和结果返回给Driver端
总结

这种模式适用于程序测试，不适用于生产环境。当在客户端提交多个Spark application时，每个application都会有自己独立的Driver，Driver与集群中的Worker有大量的通信，造成客户端的网卡流量激增问题。
Standalone-Clien模式在客户端可以看到task的执行和结果。

(2）Standalone-Cluster模式

提交命令
  • ./spark-submit --master spark://node1:7077 --deploy-mode cluster --class 包名.类名 jar包 参数

最低0.47元/天 解锁文章
伟红-long-term
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-submit 命令使用详解
XnCSD的博客
09-06 2万+
spark-submit 命令使用详解 spark-submit 用户打包 Spark 应用程序并部署到 Spark 支持的集群管理气上，命令语法如下： spark-submit [options] <python file> [app arguments] app arguments 是传递给应用程序的参数，常用的命令行参数如下所示： –master: 设置主节点 URL 的参数...
spark-yarn提交流程
weixin_48960305的博客
10-20 770
spark的yarn-client提交流程 1. 在client端启动Driver进程，初始化作业，解析程序，初始化两个DAGScheduler，TaskScheduler. -- 初始化作业： 判断路径是否存在，权限校验等 -- DAGScheduler将程序的执行流程解析成DAG图，并划分阶段，根据阶段内的分区初始化Task -- TaskScheduler接收Task，等待分配Task给executor 2. Driver会向ResourceManager,申请资源，想要启
Spark提交任务到Yarn并查看任务日志
wangleigiser的博客
07-01 851
spark提交任务到yarn 查看yarn任务
【持续更新】Spark Submit命令 配置参数详解
weixin_42151880的博客
11-10 5784
spark submit 参数
spark中spark-submit提交样例及参数说明
爱折腾的小土豆的博客
07-01 4118
当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker等。这是一种很有前景的部署模式。5.如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。上面涉及到Spark的许多部署模式，究竟哪种模式好这个很难说，需要根据你的需求，如果你只是测试Spark Application，你可以选择local模式。
图解Spark核心技术与案例实战
07-23
资源名称：图解Spark 核心技术与案例实战内容简介：《图解Spark：核心技术与案例实战》以Spark 2.0 版本为基础进行编写，全面介绍了Spark 核心及其生态圈组件技术。主要内容包括Spark 生态圈、实战环境搭建、编程...
win7计划任务定时执行PHP脚本设置图解
10-25
主要介绍了win7计划任务定时执行PHP脚本设置图解,需要的朋友可以参考下
图解springMVC执行流程及原理.docx
07-04
SpringMVC 的执行流程是理解其工作原理的关键，下面我们将详细解析这个过程。 首先，SpringMVC 的执行流程始于客户端发起的HTTP请求，这个请求被Web服务器接收到。在传统的Java Web应用中，Web服务器（如Tomcat）会...
图解DataX执行流程.pdf
08-17
图解DataX执行流程 DataX是阿里巴巴开源的数据集成工具，旨在解决数据异构、分布式存储和复杂数据处理问题。下面是DataX执行流程的详细解读： 配置加载 DataX的执行流程从加载配置文件开始。配置文件中包含了Job...
yarn的提交流程和spark在yarn的提交流程
qq_42575907的博客
04-21 2183
yarn的提交流程 1.用户向 YARN 提交一个应用程序，向RM申请启动ApplicationMaster， RM 为这个应用程序分配第一个 Container，并与之对应的 NM 通讯， 要求 它在这个 Container 中启动应用程序 ApplicationMaster。 2.ApplicationMaster 向 RM 注册，然后拆分为内部各个子任务， AM 采用轮询的方式向 RM 申请和领取资源。 3.RM 为 AM 分配资源，以 Container 形式返回。 4.AM 申请到资源后，便与之对
Spark在Yarn集群的两种提交模式
liutao3233的博客
11-27 2006
spark on yarn
Spark任务提交方式和执行流程
weixin_37796929的博客
06-26 354
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些t...
Spark系列文章一：Spark 提交任务流程详解
myc1234567的博客
10-18 7714
一、spark提交任务流程概述 1.1、流程概述 1、构建spark执行环境（初始化sparkcont）； 2、SparkContext向资源管理器注册并申请Executor资源； 3、资源管理器分配Executor资源，Executor向资源管理器发送心跳汇报状态； 4、Executor向sc注册并申请task； 5、sc向Executor发送task，Executor执行task； 6、运行完成后，sc向资源管理器申请注销资源。 1.2、流程图解（多图） 二、spark...
Spark
小道的博客
12-10 3332
Spark知识点
Spark的提交和运行流程
m0_61607827的博客
02-25 939
目录 一 、Spark的运行流程 1.1　Spark的基本运行流程 二、Spark在不同集群中的运行架构 2.1　Spark on Standalone运行过程 2.2　Spark on YARN运行过程 2.2.1　YARN框架流程 2.2.2　YARN-Client 2.2.3　YARN-Cluster 一、Spark的运行流程 1.1　Spark的基本运行流程 1、说明 (1)构建Spark Application的运行环境（启动SparkContext），SparkCo
spark任务的提交流程
m0_74903429的博客
02-27 744
第三步,因为在用户代码中,RDD算子会设计大量的转换操作,然后会通过一个动作(action)操作,触发任务的真正执行,在这里会按照RDD与RDD之间的依赖关系,首先会生成一个DAG的有向无环图,图的方向就是RDD算子的操作顺序,最终会将RDD DAG有向无环图发送给DAGScheduler对象;Master收到申请资源的请求后,向指定的worker节点发送请求,然后worker节点会开启对应的executor的进程。Executor进程会向driver发送注册请求,然后申请要计算的task。
Spark任务提交后的处理流程
XuXuemin的专栏
10-17 1182
Spark任务提交后的处理流程，主要是指Spark对计算任务的预处理、环境资源、分区及stage划分的处理
Spark提交任务
别人笑我太疯癫，我笑他人看不穿。
11-02 3756
Spark_Submit脚本参数 Spark-submit脚本提交任务时最简易的命令格式如下： ./bin/spark-submit \ --master spark://localhost:7077 \ 任务包 任务参数 而实际开发中用的一般是如下的格式 ./bin/spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 11
Spark提交任务SparkSubmit执行流程
LINBE_blazers的博客
03-15 1443
很多人在使用Spark做计算时，都会对SparkSubmit Job之后执行流程比较模糊，尤其在Spark2.0之后正式使用Netty作为RPC通讯框架，在源码层对许多功能进行了抽象，这对一些Spark初学者来说，阅读源码是一件比较困难的事。不过笔者认为，虽然Spark2.0之后框架对功能层面做了很多的抽象工作，但其执行流程还没有什么改变。虽然笔者在工作已经使用了Spark2.2.1作为生产发行版...
spark执行流程图解
最新发布
06-23
Spark 的执行流程通常包括以下几个主要步骤，这是一幅简化版的图解： 1. **提交任务 (Submit)**: 用户通过 Spark Shell 或者编程语言（如 Python, R）提交作业到 Spark 集群。 2. **Job Splitting (Job Split)**: 提交的作业会被拆分成多个小的任务 (Tasks)。 3. **Stage Generation (Stage Generation)**: 每个任务根据数据的分布和计算需求被划分成多个阶段 (Stages)。 4. **Task Assigning (Task Assigning)**: Spark 集群调度器会将这些任务分配给合适的 Worker 节点执行。 5. **Shuffle Operation (Shuffle)**: 在某些操作（如 Join）中，数据需要在节点间移动（shuffle），这一步被称为数据交换 (Data Movement)。 6. **Execution (Task Execution)**: Worker 节点上运行 Executor，每个 Executor 又会进一步拆分任务到多个线程池 (Executor Tasks) 进行计算。 7. **Output Writing (Output Writing)**: 计算完成后，结果会被写回磁盘或者特定的存储系统。 8. **Error Handling (Error Handling)**: 如果在执行过程中遇到错误，Spark 会尝试恢复任务或整个作业。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值