05-简述Spark的架构与作业提交流程（画图讲解，注明各个部分的作用）（重点）

已于 2022-12-06 22:47:38 修改
阅读量600 收藏 1
点赞数
分类专栏： spark面经复习 文章标签： spark
于 2022-12-05 07:46:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaxing_ba/article/details/128180349
版权

题目：

简述Spark的架构与作业提交流程（画图讲解，注明各个部分的作用）（重点）

答案：

在这里插入图片描述
（1）脚本启动执行并提交任务，实际是启动一个SparkSubmit的JVM进程
（2）SparkSubmit类中的main方法反射调用YarnClusterApplication的main方法
（3）YarnClusterApplication创建Yarn客户端，然后向Yarn服务器发送执行指令：bin/java ApplicationMaster
（4）Yarn框架收到指令后会在指定的NM中启动ApplicationMaster
（5）ApplicationMaster启动Driver线程，执行用户的作业
（6）AM向RM注册，申请资源
（7）获取资源后AM向RM发送指令：bin/java YarnCoarseGrainedExecutorBackend
（8）CoarseGrainedExecutorBackend进程会接收消息，跟Driver通信，注册已经启动的Executor，然后启动计算对象Executor等待接收任务
（9）Driver线程继续执行完成作业的调度和任务的执行
（10）Driver分配任务并监控任务的执行

大数据捌圆
关注
专栏目录
Spark高频面试题
悦分享
06-13 58
Spark On Yarn 的优势 1. Spark 支持资源动态共享，运行于 Yarn 的框架都共享一个集中配置好的资源池 2. 可以很方便的利用 Yarn 的资源调度特性来做分类·，隔离以及优先级控制负载，拥有更灵活的调度策略 3. Yarn 可以自由地选择 executor 数量 4. Yarn 支持 Spark 安全的集群管理器，使用 Yarn，Spark 可以运行于 Kerberized Hadoop之上，在它们进程之间进行安全认证。其次，则是从失败恢复的角度考虑。提高join的时间性能。
spark面试题
Summer2381的博客
09-19 1475
一、简答题 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...
【Spark】Spark 的运行环境、运行架构、提交流程
每天更新大数据面经和技术
05-03 1509
  前几天大概了解了 Spark 是什么，没看过的可以点击下面的链接。今天开始正式学习 Spark。 1.Spark 运行环境 1.1 Local 模式 本地执行 Spark 代码的环境。用于调试、练习。 1.2 Standalone 模式 独立部署模式。Spark 自身提供计算资源。Spark 是计算框架，但自身资源调度不是它的强项。整体是 master-slave 架构。 1.3 Yarn 模式 使用 Yarn 作为资源调度框架，工作中使用最多。可以先点击下面的链接阅读之前的文章了解什么是 Yarn。
Spark提交作业的参数
Peanut的博客
01-08 1080
Spark是使用shell脚本进行提交 提交任务的几个重要参数 executor-cores —— 每个executor使用的内核数，默认为1，官方建议2-5个 num-executors —— 启动executors的数量，默认为2 executor-memory —— executor内存大小，默认1G driver-cores —— driver使用内核数，默认为1 driver-memory —— driver内存大小，默认512M 提交样例 spark-submit \ --master loca
简述 Spark 的架构与作业提交流程
weixin_53854647的博客
05-28 582
减少了磁盘的读写操作，提高了框架计算效率。2. cluster manager 根据资源调度算法分配并监控资源使用情况，分配资源给work节点，work节点为应用启动多个executor，同时节点汇报心跳情况给cluster manager，便于集群管理器对executor 进行状态监控，如果监控到executor 失败，则立刻重新创建。Mesos是一款资源调度管理系统，为Spark提供服务，由于Spark与Mesos存在密切的关系，因此在设计Spark框架时充分考虑到对Mesos的集成。
Spark架构与作业执行流程
quguilai2006的专栏
07-16 212
转载于：http://www.it165.net/pro/html/201404/11952.html http://blog.csdn.net/hwssg/article/details/38537523 park应用程序的运行架构：   （1）简单的说： 由driver向集群申请资源，集群分配资源，启动executor。driver将spark应用程序的代码和文件传送给exec...
大数据系列之Spark作业提交流程剖析
qq_30003943的博客
08-06 410
文章目录大数据系列之Spark作业提交流程剖析1. 术语名词解释2. Driver、Worker、Executor功能介绍2.1 Driver功能介绍2.2 Worker功能介绍2.3 Executor功能介绍3. 作业提交3.1 Driver运行在Worker上的执行流程3.2 Driver运行在客户端3.3 YARN-Client模式3.4 YARN-Cluster模式 大数据系列之Spark作业提交流程剖析 1. 术语名词解释 ​ Spark架构使用了分布式计算中master-slave模型，mast
Spark架构与作业执行流程简介
weixin_30408675的博客
10-11 57
https://www.cnblogs.com/shenh062326/p/3658543.html 转载于:https://www.cnblogs.com/genggeng/p/9774241.html
大数据高频面试题-Spark
weixin_41540362的博客
07-09 1698
4.10Spark 4.10.1 Spark有几种部署方式？请分别简要论述 1）Local:运行在一台机器上，通常是练手或者测试环境。 2）Standalone:构建一个基于Mster+Slaves的资源调度集群，Spark任务提交给Master运行。是Spark自身的一个调度系统。 3）Yarn: Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。 4）Mesos：国内大环境比较.
题
BigDataCoder的博客
09-07 601
1.为什么用zookeeper 2.spark Shuffle机制? 3.sortShuffle与HashShuffle区别是什么? 4.spark中的RDD的Partition数是由什么决定的? 5.Direct和Receiver的区别在哪? 6.spark内存模型是怎样的? 7.checkpoint是怎么做的,或者说使用在什么地方? 8.数据仓库模型是怎样的? 9.简单介绍下flink任务提交流程 10.你们数据传输之间的接口大体是如何设计的? 11.scala和java有什么区别? 12.spark.
大数据面试总结《十六》--面试题规律总结
weixin_41045909的博客
03-28 4439
关于Java的面试题：关于虚拟机的面试题： 1.hashmap底层? 2.Java进程中断怎么处理? 3.介绍下面向对象? 4.介绍下多态? 5.方法重载和重写? 6.这俩哪个属于多态? 7.说下多线程? 8.实现方式有哪些，区别? 9.同步锁 互斥，为什么常量不能做锁? 10.说下反射，都是做什么的? 11.反射机制怎么实现的? 12.linkedlist和arraylist的区别? 13.h...
Spark的作业提交流程简介
qq_43656596的博客
12-25 1170
这是自己读取源码并结合他人的总结，写的大概的流程，仅供参考 第一部分：大体流程 ClientActor 启动，会将用户提交的任务和相关的参数封装到 ApplicationDescription 对象中，然后提交给 master 进行任务的注册 master 接受到 clientActor 提交的任务请求时，会将请求参数封装成 Application，然后将其持久化，然后将其加入到任务队列 wai...
Spark应用运行流程
小小本科生成长之路
04-10 4322
相关基本术语 ------------------------- Application：应用，即用户需要完成的应用程序。一般来说，这部分代码需要用户根据自己的需求来完成。这部分代码主要包括两部分：Driver和Executor。 Driver：顾名思义，驱动者，为Application准备运行环境，驱动并监控Application的运行。 Worker：当SparkContext申请到资
Spark的作业提交流程
weixin_44786983的博客
05-27 379
@spark的作业提交流程图分析 话不多说 直接上图
spark的运行流程
热门推荐
yumingzhu1的博客
08-19 1万+
Spark运行流程 看任何东西都是(知其然,再知其所以然), 我会先简单的介绍流程, 让初学者有个大概的概念, 其中有很多名称,我会在下面对其做出介绍, 当 jar 在客户端进行spark-submit的时候spark流程就开始了,先概括的介绍一下流程, 在讲述一下流程中的重要组件 1.application启动之后, 会在本地启动一个Driver进程 用于控制整个流程,(假设我们使...
了解Spark运行架构与原理
最新发布
2301_78090711的博客
03-04 1794
了解Spark架构 了解Spark作业运行流程 了解Spark核心数据集RDD 了解Spark核心原理
Spark 作业执行流程
晓晓的天空
03-14 4720
Spark 作业执行流程
Spark流程图
Z113014的博客
11-04 1463
Spark流程图超详细 (1) 将 Spark 程序通过 spark-submit(shell)命令提交到结点上执行，其实会通过反射的 方式，创建和构造一个 DriverActor 进程出来，通过 Driver 进程执行我们的 Application 应用程序。 (2) 应用程序的第一行一般是先构造 SparkConf，再构造 SparkContext； (3)SparkContext 在初始化的时候，做的最重要的两件事就是构造 DAGScheduler 和 TaskScheduler； (4)TaskSc
请简述Spark作业执行流程。
04-19
Spark作业执行流程包括以下步骤： 1. 应用程序调用SparkContext对象创建一个Spark应用。 2. 读取数据源并缓存数据。 3. 对数据进行转换和操作，构建RDD。 4. 划分RDD并将任务分发到集群中的不同节点上。 5. 在节点上对划分的数据块执行任务操作。 6. 将结果汇总到驱动节点上。 7. 将最终结果保存到目标存储系统中。 这些步骤是并行执行的，可以通过Spark的监控和调试工具进行跟踪和调试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值