spark任务调度和资源框架

最新推荐文章于 2022-12-08 13:15:23 发布
VIP文章 最新推荐文章于 2022-12-08 13:15:23 发布
阅读量605 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/elpsyco/article/details/103300449
版权

spark的任务调度在这里插入图片描述

  • Driver会运行客户端main方法中的代码，代码就会构建SparkContext对象，在构建SparkContext对象中，会创建DAGScheduler和TaskScheduler，然后按照rdd一系列的操作生成DAG有向无环图。最后把DAG有向无环图提交给DAGScheduler
  • DAGScheduler拿到DAG有向无环图后，按照宽依赖进行stage的划分，这个时候会产生很多个stage，每一个stage中都有很多可以并行运行的task，把每一个stage中这些task封装在一个taskSet集合中，最后提交给TaskScheduler
  • TaskScheduler拿到taskSet集合后，依次遍历每一个task，最后提交给worker节点的exectuor进程中。task就以线程的方式运行在worker节点的executor进程中。

standalone模式

  • 使用sparksubmit提交任务，Driver运行在Client上
  • 使用本地的Client类的main函数创建sparkcontext并初始化它
  • sparkcontext连接到Master，注册并申请资源
  • master根据sc提出的申请，根据worker的心跳报告，来决定在哪个worker上启动executo
最低0.47元/天 解锁文章
elpsyco
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark基本架构及原理
12-02
大数据中spark的基本架构和原理，有需要的可以下载看一下！
为什么我们管Yarn叫作资源调度框架
0117
07-30 187
我们知道，Hadoop主要由三部分组成，除了之前说的MapReduce，还有分布式文件存储系统HDFS，和分布式集群资源调度框架Yarn。本篇专栏就来主要的来说一下Yarn框架，它使Hadoop从一个单一的大数据计算引擎，成为了一个集存储，计算，资源管理为一体的大数据平台，进而发展出自己的大数据体系。 Yarn的发展 首先我们来看一下，单纯MapReduce的架构思路：MapReduce最核心的就...
Spark资源和调度框架
sinat_42283378的博客
09-29 347
资源调度框架 宽窄依赖关系 RDD之间的宽窄依赖关系，只要看父RDD和子RDD之间的关系： 1.窄依赖: 父RD与子RDD之间是一对一的关系。子RDD有多个父RDD，也称为窄依赖，这样是依赖是窄依赖，窄依赖不会产生shuffle(节点之间数据的传输称为shuffle)。 *每个应用程序都有独立的excutors:不会存在共用的情况。一个job和action对应** 每组的任务被称为一个stage。stage是由并行的他上课组成 关于stage 1.每个partition中放的是逻辑，是一条数据进行
Spark中Standalone、Yarn和Mesos三种资源管理和任务调度框架的对比
Pizza_great的博客
09-27 2194
Spark on Standalone： Standalone是SparkCore自带的集群资源管理框架，类似于MR V1.0采用的模式（JobTracker），内部实现了容错性和资源管理。 内部架构：Client、Master、Worker Spark on Standalone的运行流程是将程...
资源调度框架YARN
vincent_duan的专栏
11-06 243
YARN产生背景 MapReduce1.x存在的问题 在1.x版本中，架构也是master/slave的，对应的角色是分别是JobTracker和TaskTracker，一个作业可以拆分成MapTask和ReduceTask，一个JobTracker跟踪多个TaskTracker。 JobTracker负责资源的管理和状态的管理，TaskTracker定期向JobTracker汇报本节点的健康状...
Spark 基本架构及运行原理
热门推荐
12-08 1万+
Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。 与Hadoop MapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（Hadoop MapReduce采用的是进程模型），减少任务的启动
【Spark】Spark 任务调度
每天更新大数据面经和技术
05-08 2194
  干了一周的活，感想就是 SQL 能力要提高，原理要搞清楚。SQL 熟练才能快速写出业务代码。原理搞清楚才能调优。运行一次程序需要一两个小时，调优后可以大大缩短任务运行时间。所以基础很重要。今天继续学习 Spark 的基础——Spark 任务调度机制。   在生产环境下，Spark 集群的部署方式一般为 YARN-Cluster 模式，之后的内核分析内容就 基于 YARN-Cluster 模式。YARN-Cluster 模式以及任务提交流程可以看之前的文章。 【Spark】Spark 的运行环境、运行架构
第10章 Spark（全面解读Spark架构体系）
wyz191的专栏
04-30 4127
概述 Spark简介 Spark诞生于2009年美国加州伯克利分校的AMP实验室，基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 Spark最初的设计目标是使数据分析更快----不仅程序运行速度要快，程序编写也要能快速、容易。为了使程序运行更快，Spark提供了内存计算，减少了迭代计算时的IO开销；而为了使程序编写更为容易，Spark使用简练、优雅的Scala编写，基于Scala提供了交互式的编程体系。 Spark具有如下4个主要特点： （1）运行速度快 ...
Spark框架
weixin_44870066的博客
07-12 2951
Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上。 【Spark Core】：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python、Java、 Scala、R语言的API，可以编程进行海量离线数据批处理计算。【SparkSQL】：基于SparkCore之上，提供结构
Spark
weixin_42010530的博客
05-20 732
Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。 在Spark中，一个应用（Application）由一个任务控制节点（Driver）和若干个作业（Job）构成，一个作业由多个阶段（Stage）构成，一个阶段由多个任务（Tas..
Hodor是一个专注于任务调度以及任务编排的一站式分布式任务调度系统
11-08
Hodor是一个专注于任务调度以及任务编排的一站式分布式任务调度系统。通过提供任务编程API和接口协议， 方便支持用户使用不同的编程语言实现任务执行以及自定义任务类型的扩展，以满足各种业务场景下的任务执行。...
Big Whale任务调度系统-其他
06-12
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG执行调度和流处理任务的状态监测调度，并具有重复应用检测、大内存应用检测等功能。 服务基于Spring Boot 2.0开发，...
Spark-GPU框架下海洋地理空间数据分布式并行处理任务调度.pdf
08-08
#资源达人分享计划#
开源调度框架dolphinscheduler，2台机器上运行的任务无法立即停止，另外1台机器运行的任务可以立即停止
01-07
dolphinscheduler分布式部署，有3个worker节点，3个master节点 ...5. 解决方案：去掉processUtils.killYarnJob逻辑（hive、spark客户端执行，只需kill 本地进程，yarn任务会自动取消） 作者：weixin_4
完结23章大数据硬核技能进阶 Spark3实战智能物业运营系统
02-26
YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用） Windows模式：为了方便在学习测试spark程序，Spark提供了可以在windows系统下启动本地集群的方式，这样，在不使用虚拟机或服务器的情况下，也...
钢筋混凝土污水池及提升泵站施工方案.doc
05-03
课程设计污水处理
PHP基于Web的subversion用户管理系统(源代码+设计说明书).zip
05-03
PHP基于Web的subversion用户管理系统(源代码+设计说明书).zip
node-v12.22.10-linux-armv7l.tar.xz
05-03
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
The Experiment 3 of Engineering Electromagnetics.pdf
最新发布
05-03
The Experiment 3 of Engineering Electromagnetics.pdf
任务调度底层技术框架使用的是那个
07-14
Mesos可以用于构建分布式任务调度系统，它支持多种框架和编程语言，并提供了高可用性和可扩展性。 2. Apache Hadoop YARN：Apache Hadoop YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的一个关键...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值