spark资源调度与yarn类比

最新推荐文章于 2024-05-22 00:24:23 发布
最新推荐文章于 2024-05-22 00:24:23 发布
阅读量664 收藏
点赞数
分类专栏： 大数据学习笔记 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nuc2015/article/details/82117626
版权

spark资源调度与yarn类比：

master负责资源调度：就是决定在那些worker上启动executor,监控worker) ————>   yarn上的是resourcemanager

worker负责启动执行任务的进程（executor），并且监控executor，并且将当前机器的信息通过心跳汇报给master

————>nodemanager

executor负责执行计算任务————>yarnchild

SparkSubmit负责向Master提交任务并申请资源，然后该任务下的executor跟sparkSubmit进行通信，监控Executor

————>AppMaster

 

nuc2015
关注
专栏目录
Spark入门(二)运行模式及安装部署
PassionZheng的博客
05-19 723
上一节对Spark进行大致的介绍，包括其历史、特点以及各内置模块等方面内容，书归正题，本节就对Spark框架的安装部署进行大致的介绍。 部署Spark集群大体上分为两种模式：单机模式与集群模式。大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境，但是在生产环境中，并不会使用单机模式。因此，后续会直接按照集群模式部署Spark集群。 Spark目前支持 4 种运行模式： 1）Local模式：在本地部署单个Spark服务（适用于测试） 2）Standalone模式：并非是单节点，而是使用Spark自
spark 流程详解（任务切分，调度，通讯架构）
weixin_45425054的博客
03-08 1017
spark整个流程 第6步详解解析： 6.1的LauncherPool为线程池，它会启动一个线程类NMclient用来和NodeManager通信用，然后会启动NodeManager中的一个进程ExecutorBackend，然后启动两个通信模块（也就是RPC终端，用来通信） 通信注册完后，第9步建立Executor计算对象（线程），也就是跑RDD的承担者 注：7，8，9,10步在通讯架构中详解 任务切分 第十步：任务切分解析：如下图 所以当Exeuctor启动完成后，就开始跑代码，直到遇到第一个行动算
资源调度框架YARN
vincent_duan的专栏
11-06 261
YARN产生背景 MapReduce1.x存在的问题 在1.x版本中，架构也是master/slave的，对应的角色是分别是JobTracker和TaskTracker，一个作业可以拆分成MapTask和ReduceTask，一个JobTracker跟踪多个TaskTracker。 JobTracker负责资源的管理和状态的管理，TaskTracker定期向JobTracker汇报本节点的健康状...
Spark on Yarn资源调度源码解析
建模分析师胡选来
03-02 2510
在命令行中调用SparkSubmit类启动Spark自定义Jar包执行的时候当前节点调用的有主函数的类名childMainClass分为 ----------------- standalone: org.apache.spark.deploy.rest.RestSubmissionClient client：jar包中main函数，默认形式 yarn-cluster：org.apache
Spark的资源调度
背着梦的幸存者
11-09 2403
文章目录1、绪论2、前置知识3、流程图4、详细步骤 1、绪论      上图是Spark程序运行时的一个超级简单的概括。我们运行一个Spark应用程序时，首先第一步肯定是写一个Spark Application应用程序，然后调用资源调度器为Driver申请资源。申请成功后，向master为Application申请资源，申请完毕后，调用资源调度器把任务分发到节点执行。在各个节点进行分布式的并行计算...
Spark在YARN上运行图解（资源调度+任务调度）及案例
最新发布
weixin_52134189的博客
05-22 1196
Spark集群配置YARN、client与cluster提交流程图解、编写spark程序在yarn上执行（计算圆周率）
资源调度框架YARN解析
weixin_43238751的博客
11-12 293
Yarn作为Hadoop的资源调度框架，承担着扩展Hadoop的重要责任，我们配置Spark时就使用了Spark on Yarn的配置方法，这里简单介绍一些YARN的工作原理，有助于理解整个系统处理作业的过程。 在配置好的Hadoop环境中，我们输入jps查看进程，可以看到，master节点上的ResourceManager和slave节点上的NodeManager就是属于Yarn的进程。 几个需...
Spark基础学习笔记01：初步了解Spark
f54268589的博客
06-12 359
Spark基础学习笔记01：初步了解Spark
Spark入门
asd623444055的博客
04-16 819
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 一、Spark运行模式 部署Spark集群大体上分为两种模式：单机模式与集群模式 大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。 下面详细列举了Spark目前支持的部署模式。 1）Local模式：在本地部署单个Spark服务 2）Standalone模式：Spark自带的任务调度模式。（国内常用） 3）YARN模式：Spar
Spark-3.0.0 重点归纳
m0_67991849的博客
06-23 1431
spark重点归纳
为什么我们管Yarn叫作资源调度框架
0117
07-30 202
我们知道，Hadoop主要由三部分组成，除了之前说的MapReduce，还有分布式文件存储系统HDFS，和分布式集群资源调度框架Yarn。本篇专栏就来主要的来说一下Yarn框架，它使Hadoop从一个单一的大数据计算引擎，成为了一个集存储，计算，资源管理为一体的大数据平台，进而发展出自己的大数据体系。 Yarn的发展 首先我们来看一下，单纯MapReduce的架构思路：MapReduce最核心的就...
spark10--资源调度模式, yarn的任务调度流程
大数据开发工程师
01-19 669
资源调度模式 Spark runs on Hadoop, Apache Mesos, Kubernetes, standalone, or in the cloud. local 模式(本地模式) standalone 模式 spark-on-yarn 模式 mesos模式 decker cloud … 用哪种资源调度模式比较好? 需要通过公司需求和运行速度来综合 衡量 哪种资源调度模...
【Spark篇】---Spark资源调度和任务调度
L先生AI课堂
02-05 322
一、前述   Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。 自愿申请的话，本文分粗粒度和细粒度模式分别介绍。   二、具体   Spark资源调度流程图：              Spark资源调度和任务调度的流程：                  1、启动集群后，Worker节点会向Master节点汇报资源情况，M...
Yarn的调度器, Spark的任务调度, DAGSchedule, TaskSchedule, worder 13
啊策策大数据社区
07-15 393
1. 复习, Yarn三种调度器 1.1 什么是调度器 主要是用于研究一个任务提交之后,下一个任务又来了改怎么执行. 绝对我们任务如何进行执行. 1.2 Yarn当中的调度器主要有三种 第一种:队列调度器FIFO: 第一个任务提交,先执行.然后第二个任务提交,等着第一个任务执行完毕之后再执行第二个任务. ...
第4章 Hadoop YARN
qq_52331221的博客
04-19 665
文章目录第4章 Hadoop YARN一：判断题二：选择题 第4章 Hadoop YARN 一：判断题 1：Yarn 可以作为Spark的资源调度框架 T 2：YARN既是资源管理调度框架，也是一个计算框架。 F 3：MapReduce2.0是运行在YARN之上的计算框架，由YARN来为MapReduce提供资源管理调度服务。 T 4：YARN的体系结构包含三个组件：ResourceManager，NodeManager，ApplicationMaster T 5：YARN可以实现
【Spark】Spark 的运行环境、运行架构、提交流程
每天更新大数据面经和技术
05-03 1496
  前几天大概了解了 Spark 是什么，没看过的可以点击下面的链接。今天开始正式学习 Spark。 1.Spark 运行环境 1.1 Local 模式 本地执行 Spark 代码的环境。用于调试、练习。 1.2 Standalone 模式 独立部署模式。Spark 自身提供计算资源。Spark 是计算框架，但自身资源调度不是它的强项。整体是 master-slave 架构。 1.3 Yarn 模式 使用 Yarn 作为资源调度框架，工作中使用最多。可以先点击下面的链接阅读之前的文章了解什么是 Yarn。
spark提交任务的模式—— standalone模式与yarn模式、资源调度与任务调度
Devin
12-26 867
standalone模式 在客户端提交Application，Driver在客户端启动； 客户端向Master申请资源，Master返回Worker节点； Driver向Worker节点发送task，监控task执行，回收结果。 在客户端提交Application，客户端向Master申请启动Driver； Master随机在一台Worker中启动Driver； Driver启动...
spark任务执行过程，源码分析和on Yarn调度过程
syl_1264946104的博客
11-21 1436
一、spark源码分析执行流程 当spark遇到action类算子，开始调起任务 1.Action类型的算子触发job的执行。源码中调用了SparkContext的runJob()方法，根进源码发现底层调用的是DAGScheduler的runJob()方法。 2.DAGScheduler会将我们的job按照宽窄依赖划分为一个个stage(每个stage根据RDD的Partition的个数决定tas...
Spark基于YARN调度模式（五）
RivenDong
07-13 978
Spark基于YARN的调度模式 由于YARN模式下不需要Mesos模式下的所有Master进程和所有Worker进程，需首先关闭这些进程 ./stop-slaves.sh ./stop-slaves.sh 启动YARN集群 start-yarn.sh 创建测试文件 vi wordcount.txt hdfs dfs -put wordcount.txt wordcount.txt 运行spark-shell 在yarn模式下运行spark-shell需要指定–master y
Hadoop YARN：分布式资源调度与优化
"分布式资源调度——YARN框架" Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是Hadoop 2.x引入的一种全新的资源管理器，其目标是为上层应用程序提供统一的资源管理和调度。YARN的出现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值