spark提交过程

最新推荐文章于 2023-10-25 09:59:10 发布

riwanba

最新推荐文章于 2023-10-25 09:59:10 发布

阅读量227

点赞数

文章标签： spark 大数据 java

本文链接：https://blog.csdn.net/riwanba/article/details/128379267

版权

yarn-client模式

1.（NodeManager向ResourceManager汇报资源）在Client提交application，首先在Client启动Driver

2.Client向ResourceManager申请启动ApplicationMaster

3.ResourceManager收到请求后，随机在一台NodeManager节点启动ApplicationMaster

4.ApplicationMaster会向ResourceManager申请资源，用于启动Executor

5.ResourceManager返回给ApplicationMaster返回一批资源（哪些NodeManager可以启动Executor）

6.ApplicationMaster连接NodeManager，启动Executor（内有线程池ThreadPool，用来run task）

7.各个Executor向Driver反向注册

8.Driver就能发送task、监控task执行、回收结果

yarn-cluster模式

1.在client提交application，首先client向RS申请启动ApplicationMaster

2.RS先随机找到一台NodeManager启动ApplicationMaster（身份就是Driver）

3.ApplicationMaster向RS申请启动Executor的资源

4.RS返回一批资源给ApplicationMaster

5.ApplicationMaster连接那些Executor（内置ThreadPool）

6.各个Executor反向注册给ApplicationMaster（充当Drvier）

7.ApplicationMaster发送task、监控task执行，回收结果

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

riwanba

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Spark基于资源调度和任务调度；粗粒度资源申请和细粒度资源申请（详细版：图解+文字说明）

wyqwilliam的博客

07-21

1624

Spark任务调度和资源调度 1).资源调度 a).集群启动，Worker向Master汇报资源，Master掌握了集群资源情况 b).当在客户端提交任务的时候，运行任务，new SparkContext，会创建两个对象：DAGScheduler和TaskScheduler c).TaskScheduler向M...

Spark

小道的博客

12-10

3722

Spark知识点

1 条评论您还未登录，请先登录后发表或查看评论

spark任务提交流程

zdryn的博客

04-04

630

spark任务提交流程 1、编写程序打成jar包 2、调用spark-submit脚本提交任务到集群上运行 3、发送请求到ResourceManager，请求启动applicationMaster 4、RS接收到请求后在集群上选择一个合适的NameNode节点，启动ApplicationMater 5、运行spark-submit的main方法，通过反射的方式创建主类的实例对象，然后调用main方法，开始执行代码 6、代码创建sparkcontext对象并对其初始化，同时创建DAGScheduler（将rd

Spark任务的提交流程

下山化缘的DJ

07-16

439

Spark任务的提交流程 (1)、首先将程序打成 jar 包 (2)、使用spark-submit 脚本提交任务到集群上运行 (3)、运行 sparkSubmit 的 main 方法，在这个方法中通过反射的方式创建我们编写的主类的实例对象，然后调用 main 方法，开始执行我们的代码（注意，我们的 spark 程序中的 driver就运行在 sparkSubmit 进程中） (4)、当代码运行到创建 SparkContext 对象时，那就开始初始化 SparkContext 对象了 (5)、在初始化 Spa

Spark系列文章一：Spark 提交任务流程详解

myc1234567的博客

10-18

8255

一、spark提交任务流程概述 1.1、流程概述 1、构建spark执行环境（初始化sparkcont）； 2、SparkContext向资源管理器注册并申请Executor资源； 3、资源管理器分配Executor资源，Executor向资源管理器发送心跳汇报状态； 4、Executor向sc注册并申请task； 5、sc向Executor发送task，Executor执行task； 6、运行完成后，sc向资源管理器申请注销资源。 1.2、流程图解（多图）二、spark...

Spark学习---7、Spark内核（源码提交流程、任务执行、Shuffle、内存管理）

星光不问赶路人，岁月不负有心人

07-15

305

Spark内核（源码提交流程、任务执行、Shuffle、内存管理）

yk_3215123的博客

08-04

629

Spark源码系列（一）spark-submit提交作业过程

01-30

折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Driver Program的过程。...

spark提交python程序_Spark任务提交(Spark Submit)

weixin_39728544的博客

12-10

2165

Spark-Submit简介spark-submit脚本用于在集群上启动应用程序,它位于Spark的bin目录中。这种启动方式可以通过统一的界面使用所有的Spark支持的集群管理功能，因此您不必为每个应用程序专门配置应用程序。绑定应用程序的依赖关系如果您的代码依赖于其他项目，则需要将它们与应用程序一起打包，才能将代码分发到Spark群集。为此，请创建一个包含代码及其依赖关系的程序集jar(或“ub...

spark运行python脚本_spark-submit提交python脚本过程记录

weixin_39982269的博客

12-09

1586

最近刚学习spark，用spark-submit命令提交一个python脚本，一开始老报错，所以打算好好整理一下用spark-submit命令提交python脚本的过程。先看一下spark-submit的可选参数1.spark-submit参数--masterMASTER_URL:设置集群的主URL，用于决定任务提交到何处执行。常见的选项有local:提交到本地服务器执行，并分配单个线程loca...

Spark定制班第17课：Spark Streaming资源动态申请和动态控制消费速率原理剖析

andyshar的博客

05-29

2481

Spark是粗粒度的，即在默认情况下会预先分配好资源，在进行计算。好处是资源提前分配好，有计算任务时就直接使用使用计算资源，不用再考虑资源分配。不好的地方是，有高峰值和低峰值时的资源不一样的。资源如果是针对高峰值情况下考虑的，那势必在低峰值情况下会有大量的资源浪费。 Twitter最近推出了会秒杀Storm的Heron，非常值得关注。因为Heron能有更好的资源分配、更低的延迟。Her

Spark任务提交全流程（简述+全流程）

热门推荐

小黑的博客

03-20

1万+

概略: 1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息 2.Master接收到任务信息后，开始资源调度，此时会和所有的Worker进行通信，找到空闲的Worker，并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后，开始与Driver进行反向注册，...

spark资源申请、与分区、task联系

探索数据奥秘的博客

10-09

612

粗浅理解，不完全准确： /** * 申请资源、计算节点数、虚拟cpu核数、并行度、并发度关系,分区、task数量： * 一个nodemanager 上可能有多个executor * spark-shell --num-executors 3 \ * --driver-memory 5g --executor-cores 2 \ //每个executor的虚拟核数 * --executor-memory 2g * 这种情况下最大并发度是是6=计算节点数*虚拟CPU核数 * 分区数=tas

Spark的资源申请与任务调度

wuyue的博客

07-21

817

今天也要努力学习粗粒度资源申请和细粒度资源申请粗粒度资源申请(Spark）在**Application执行之前，将所有的资源申请完毕，当资源申请成功后，才会进行任务的调度，当所有的task执行完成后，才会释放这部分资源。** 优点：在Application执行之前，所有的资源都申请完毕，每一个tas...

Spark-资源调度、任务调度、粗粒度资源申请

oJueQiang123456的博客

02-26

413

一、概述 standalone-client模式启动：二、执行流程: (x)指的是上图的第x步 1、启动集群 Worker向Master汇报资源(1)。 Master掌握集群资源(2)。 2、启动application的时候创建Driver对象。 3、new SparkContext()(3)：创建DAGcheduler、TaskScheduler对象。TaskSche...

Spark系列——Spark On Yarn 资源申请流程

大数据技术分享

10-21

780

Spark On Yarn 资源申请流程 Client 模式因为是Client模式，所以当我们 Spark-Submit 提交Spark任务的时候，会直接走到我们的main方法，进行Spark Context 的初始化。 Spark Context 初始化的时候会生成两个比较重要的对象DAGSchedule 和 TaskSchedule, TaskSchedule 会进行...

spark on yarn申请资源的计算方法

迷途无归的博客

01-13

1355

最近在申请资源时，遇到资源申请和预期不匹配一、现象资源申请如下（动态内存申请）：任务提交最大运行内存如下：预期 container: 10 + 1 = 11 cpu : 102 +1 = 21 memory: 10( 4 * 1024)+ 512 = 41,472 内存和实际有较大差距二、分析 1、yarn和spark的一些概念 a、spark任务会根据自己的executors的个数向yarn申请对应个数的container来跑任务，每个executor相当于一个JVM进程。 b、当--d

Spark 作业资源调度

htfenght的博客

01-23

725

北风网spark学习笔记静态资源分配原理 spark提供了许多功能用来在集群中同时调度多个作业。首先，回想一下，每个spark作业都会运行自己独立的一批executor进程，此时集群管理器会为我们提供同时调度多个作业的功能。第二，在每个spark作业内部，多个job也可以并行执行，比如说spark-shell就是一个spark application，但是随着我们输入scala rdd acti...

Spark -- 资源申请和任务调度