Spark内核原理之standalone集群的Job提交执行流程

最新推荐文章于 2021-05-12 10:50:04 发布
最新推荐文章于 2021-05-12 10:50:04 发布
阅读量96 收藏
点赞数
分类专栏： Spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zh2475855601/article/details/115977182
版权

文章目录

流程图

在这里插入图片描述
解释

  1. Driver启动创建sc
  2. sc向CM注册申请资源
  3. CM找Worker分配资源,启动Executor
  4. Executor进程注册并申请Task
  5. 构建DAG
  6. DAG Scheduler划分Stage,Stage中有多个Task/TaskSet
  7. Task Scheduler提交Task/TaskSet
  8. 注销
大数据老人家i
关注
专栏目录
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
Flink的standalone模式集群启动的流程及注意事项
01-20
1.进行相应的解压操作之后，...4.进入bin目录执行 ./start-cluster.sh启动集群 （之前要做好ssh免密设置，可以省去输密码的麻烦） 5.查看Web UI 输入通过浏览器访问flink主节点的8081端口 http://192.168.198.129:8081
spark之Standalone模式部署配置详解
08-29
Spark 之 Standalone 模式部署配置详解 Spark 是一个基于内存的集群计算引擎，它可以在多种模式下运行，包括本地模式、伪分布式模式、集群模式等。在这些模式中，Standalone 模式是 Spark 的自带模式，对于大多数...
spark-2.0.1集群安装及编写例子提交任务
11-11
本文将详细介绍如何在集群环境中安装Spark 2.0.1，并提供编写Spark应用程序的实例以及如何将任务提交到Spark Standalone集群。 首先，我们来看【spark集群安装.doc】。这份文档应该包含详细的Spark集群安装步骤。...
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...
Flink原理之TaskSlot And Slot Sharing
大数据跟我学i
05-12 854
文章目录TaskSlot(任务槽)Slot Sharing(槽共享) TaskSlot(任务槽) 每个TaskManager是一个JVM的进程,TaskSlot是TaskManager中资源分配的最小单位,每个TaskManager能够处理的最大任务数由TaskSlot决定。 Flink将每个进程的内存划分到了slot中,内存被划分到不同的slot有以下好处： TaskManager最多能同时并发执行的子任务(Subtask)可以通过TaskSolt数量来控制 每个TaskSolt都独占一个内存空间
Spark-On-Yarn的两种模式(DeployMode)
大数据跟我学i
03-17 785
文章目录Client(了解)Cluster模式(开发使用) Client(了解) Spark的Driver驱动程序运行在提交任务的客户端上。 优点 因为Driver在客户端，所有在Driver中的程序结果输出可以客户端控制台看到 缺点 和集群的通信成本高 当驱动进程挂掉，需要手动启动 Cluster模式(开发使用) Spark的Driver驱动程序，运行在Yarn集群上 优点 1.因为Driver是交给Yarn管理的，如果失败会有Yarn重启 2. 和集群的通信成本低 缺
SparkSQL的基本数据存储格式
大数据跟我学i
04-25 635
文章目录Spark中所有组件的数据格式DataFrame和DataSet详解DataFrameDataSet Spark中所有组件的数据格式 SparkCore的数据格式：RDD SparkStreaming的数据格式：DStream，底层是RDD SparkSQL的数据格式：DataFrame和DataSet，底层是RDD DataFrame和DataSet详解 DataFrame DataFrame = RDD - 泛型 + Schema约束(指定了字段名和类型) + SQL操作 + 优化 Dat
StructedStreaming概述
大数据跟我学i
05-02 619
文章目录SparkStreaming的不足 SparkStreaming的不足 基于微批处理,延迟高不能做到真正的实时计算 DStream基于RDD,不直接支持SQL 流批处理的API应用层不统一 流用的是DSteam,底层是RDD 批用的是DataFram、DataSet、RDD 不支持EventTime(事件时间) EventTime：事件真正发生的时间 PorcessTime处理时间：事件被流系统处理的时间 IngestionTime摄入事件：事件到达流系统的时间 列举不适用的场景
StructedStreaming-基于事件时间的窗口计算
大数据跟我学i
05-05 610
时间分类 事件时间：事件产生的时间 摄入时间：事件到达流系统的时间 处理时间：事件被流系统处理的时间 注：在实际开发中一般都要基于事件时间进行窗口计算,因为事件时间更能代表事件的本质。 例如：2021.10.1 23:59:50的订单,到2021.10.2 00:00:10 才被系统处理,如果不支持事件时间那么会出现统计错误。 API 基于事件时间进行窗口计算 import spark.implicits._ val words = ... // streaming DataFrame of
Spark内核原理之DAG和Stage
大数据跟我学i
04-21 549
文章目录DAGStage DAG 概述 有一个有向图无法从任意顶点出发经过若干条边回到该点，则这个图是一个有向无环图(DAG图)。 Spark的DAG：就是spark任务/程序执行的流程图 DAG的开始：从创建RDD开始 DAG的结束：到Action结束 注：一个Spark程序中有几个Action操作就有几个DAG 在Spark中,由于计算会有先后顺序 则就会受制于某些任务比另一些任务较早执行的限制 那就必须对任务进行排队,形成一个队列的任务集合,消除限制 这个队列的任务集合就是DAG图,每一个顶点就
Flink原理之角色分工
大数据跟我学i
05-11 487
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
Spark之RDD概念详解
大数据跟我学i
03-20 483
文章目录概述五大属性WordCount中RDD的五大属性 概述 RDD(A Resilient Distributed Dataset)：弹性分布式数据集,是Spark中最基本的数据抽象,用来表示分布式集合,支持分布式操作。 诞生背景 没有RDD/Dataset之前做 Wordcount(大数据计算)可以使用： 原生集合：Java/Scala中的List但是只支持单机版!不支持分布式,如果要做分布式的计算需要做很多额外工作,例如线程/进程通信，容错，自动均衡等，麻烦，所有就诞生了解决这些问题的框架。 M
Spark Streaming基本概述
大数据跟我学i
04-21 450
文章目录概述SparkStreaming在Spark框架中的位置特点数据处理流程核心计算思想常见流式计算模式Spark Streaming 核心计算思想 概述 它是构建可伸缩的容错流应用程序的一种Spark流 SparkStreaming在Spark框架中的位置 SparkStreaming是Spark生态系统当中一个重要的框架，它建立在Spark Core之上(依赖Spark Core) 特点 使用简单 容错性好 和spark无缝集成 数据处理流程  SparkStreaming是一个基于Spa
SparkSQL基本概述
大数据跟我学i
04-25 410
文章目录基本概述SparkSQL与SparkCore数据对比 基本概述 SparkSQL与SparkCore数据对比 SparkCore 优缺点： 优点：灵活,可以使用底层的API完成很复杂的业务 缺点：有一定的学习成本/入门门槛 SparkSQL 对于一些数据科学家/数据库管理员/DBA,要求他们为了做一个非常简单的查询,写一大堆代码,明显是一件非常麻烦的事情,所以使用常见的SQL很方便。 优缺点： 优点：入门门槛低,只要会英文单词/简单语法规则就可以写 缺点：只能做一些简单的业务,复杂业务实现
SparkStreaming之状态更新
大数据跟我学i
04-27 390
文章目录概念案例 概念 状态更新指的是从socket中接收的数据做WordCount后得到的结果能对历史结果进行累加的一种操作。 batch：指的是一个批次的数据 updateFn：用于对最新数据与历史数据进行操作的函数 案例 编写代码监听node1节点中的9999端口,并对端口中拉取到的单词进行wordcount import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spar
Spark基本概述及其环境搭建之本地模式(开箱即用无需配置)
大数据跟我学i
03-10 354
文章目录 下载安装包
Spark环境搭建之Spark-On-Yarn
大数据跟我学i
03-17 336
文章目录原理安装 原理 注意： 在实际开发中, 大数据任务都有统一的资源管理和任务调度工具来进行管理! —Yarn使用的最多。 因为它成熟稳定, 支持多种调度策略:FIFO/Capcity/Fair 可以使用Yarn调度管理MR/Hive/Spark/Flink 安装 关闭之前的Spark-Standalone集群 /export/server/spark/sbin/stop-all.sh 配置Yarn历史服务器并关闭资源检查 vim /export/servers/hadoop/etc/ha
Spark内核原理之RDD之间的依赖关系
大数据跟我学i
04-20 272
文章目录宽窄依赖宽依赖窄依赖为什么需要宽窄依赖 宽窄依赖 ShuffleDependency：宽依赖 NarrowDependency：窄依赖 宽依赖 概述 父RDD的一个分区会被子RDD的多个分区所依赖 特点 一对多：一个父RDD对应多个子RDD 应用场景 例如：RDD的reduceByke()、join() 窄依赖 概述 父RDD的一个分区只会被子RDD的一个分区所依赖 特点 一对一：一个父RDD对应一个子RDD 应用场景 例如RDD的map()、union()、join() 注： 一个
Spark Standalone集群部署与工作流程详解
Spark standalone分布式集群是一种流行的运行模式，用于在多台机器上分布式地执行Spark应用程序。这种模式允许用户在没有预定义的集群管理器（如YARN或Mesos）的情况下，自行管理和启动Spark集群。以下是关于Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据老人家i

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值