spark的Driver节点和Executor节点

最新推荐文章于 2024-03-16 16:54:56 发布
VIP文章 最新推荐文章于 2024-03-16 16:54:56 发布
阅读量6.1k 收藏 9
点赞数 3
分类专栏： Spark 文章标签： spark Driver Executor
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsl200970/article/details/70148139
版权
1．驱动器节点(Driver)
Spark的驱动器是执行开发程序中的 main方法的进程。它负责开发人员编写的用来创建SparkContext、创建 RDD，以及进行 RDD 的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动 Spark shell的时候，系统后台自启了一个 Spark 驱动器程序，就是在Spark shell 中预加载的一个叫作 sc 的 SparkContext 对象。如果驱动器程序终止，那么Spark 应用也就结束了。
Driver在spark作业执行时主要负责以下操作：
最低0.47元/天 解锁文章
代码与思路齐飞
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
怎么判断Spark程序在Driver端运行还是Executor端运行
SunnyRivers
05-19 1294
实习生：怎么知道我的spark代码中哪些是在driver端运行，哪些是在executor端运行？我：算子中的部分就在executor，其它的在driver实习生：…呃…你能证明你说的是对的吗？
对Spark中Driver的小研究
程研板的博客
01-13 1616
目录Standalone模式Yarn模式 driver是进程吗？ 先说结论： 1.Standalone模式中，client是spark-submit进程中开启一个线程，然后通过反射执行driver代码的main方法。cluster是开启DriverWrapper进程来运行driver。 2.Yarn模式，client是spark-submit进程中开启一个线程，然后通过反射执行driver代码的main方法。 cluster是ApplicationMaster进程中通过反射执行driver代码的main方法
Spark 查看某个正在执行的或已结束的任务中executor与driver日志
小鹅鹅的博客
07-26 1万+
1. 在web界面上查看 任务正在运行 如果运行在 YARN 模式，可以在 ResourceManager 节点的 WEB UI 页面根据 任务状态、用户名 或者 applicationId Search 到应用。 点击表格中 Tracking UI 列的History 链接； 点击相关的 ApplicationId 链接，进入到详情页面点击上面的 Tracking URL: History 链...
如何理解Spark中Driver和Executor？
最新发布
2301_79551573的博客
03-16 387
第二个Driver还负责管理广播变量和累加器，广播变量负责将一个只读对象传递到所有的executor端提供数据计算的需求，而累加器则是用来收集executor端数据的累计行为。任何分布式服务都会有两种角色，一个是Master另一个是Slaver，前者是领导专门负责指挥和调度，后者是员工专门负责干活的；Driver相当于Master，Executor相当于Slaver，前者负责任务的分配和管理，后者负责对数据进行计算。第二个对计算后的最终的RDD或者DataSet进行持久化存储。
记一次Spark任务Driver端问题排查
weixin_42486226的博客
04-26 230
Spark任务提交Client模式报错找不到依赖，换成Cluster模式就乖乖听话了，这问题其实很简单。
Spark Executor模块详解
晓晓的天空
03-18 1640
Spark Executor模块详解
Spark运行架构
02-25
lApplication：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码；lDriver：Spark中的Driver即运行上述...
Spark基础知识03——序列化
01-07
 首先，任务提交的过程，需要先在Driver端进行初始化，算子的函数需要的Executor端进行计算。  Driver端的计算过程需要传给Executor端进行实际的计算，就需要发生网络io，  而Executor端的计算需要在jvm里进行...
Spark学习笔记—Spark工作机制
01-20
Spark应用提交后经历一系列转变，最后成为task在各个节点上执行。 RDD的Action算子触发job的提交，提交到Spark的Job生成RDD DAG，由DAGScheduler转换为Stage DAG，每个Stage中产生相应的Task集合，TaskScheduler将...
一文理清ApacheSpark内存管理脉络
02-25
Spark集群会启动Driver和Executor两种JVM进程，前者为主控进程，负责创建Spark上下文，提交Spark作业(Job)，并将作业转化为计算任务(Task)，在各个Executor进程间协调任务的调度，后者负责在工作节点上执行具体的...
如何设置和读取Spark配置
话数Science
10-03 198
在SaprkConf中设置，如或者通过System.properties设置，如。
Spark-submit提交任务如何读取外部配置文件
mjjyszazc的博客
01-05 2741
Spark-submit的--files参数
spark on yarn-cluster在生产环境 部署 spark 任务， 同时支持读取外部可配置化文件
u012447842的博客
09-29 1269
spark on yarn-cluster在生产环境部署 读取外部可配置化文件
spark中获取配置文件两种方式Properties和ConfigFactory
liminghui4321的博客
04-21 2063
1.方式一： 利用类加载器获取到指定的配置文件 // 通过类的加载器获取到对应的配置文件 val stream = getClass.getClassLoader.getResourceAsStream("application.conf") val prop = new Properties() prop.load(stream) val sqlUrl = prop.getProperty("db.url") println(sqlUrl) 2方式二：利用Typesafe的Config库。 Co
Spark简介以及最详细安装教程
热门推荐
zp17834994071的博客
07-29 2万+
首先来聊聊什么是Spark?为什么现在那么多人都用Spark? Spark简介： Spark是一种通用的大数据计算框架,是基于**RDD（弹性分布式数据集）**的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。 为什么使用Spark ...
大数据｜Spark介绍
因为健忘，所以记点有的没的〒▽〒
05-18 7506
park为了解决以往分布式计算框架存在的一些问题(重复计算、资源共享、系统组合)，提出了一个分布式数据集的抽象数据模型：RDD(Resilient Distributed Datasets)弹性分布式数据集。
Spark详解
qq_40322236的博客
02-06 5934
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。在之前的学习中，Hadoop的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到 Spark 和 Hadoop 的关系。
Spark自定义类在Driver和Executor端传输问题
qq_34896163的博客
11-18 2999
方式一：自定义一个类，并且这个类需要实现Serializable接口 1.首先写一个class自定义类 class Rules extends Serializable { val rulesMap = Map("hadoop" -> 2.7, "spark" -> 2.2) //val hostname = InetAddress.getLocalHost.getHost...
大数据学习 之 Spark 概述
阳光大男孩！！！的博客
08-31 6990
Spark简介 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎。 Spark主要由五部分组成： Spark Core Spark Core 中提供了 Spark 最基础与最核心的功能，Spark 其他的功能如：Spark SQL， Spark Streaming，GraphX, MLlib 都是在 Spark Core 的基础上进行扩展的 Spark SQL Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用 SQL 或者
spark driver和executor
03-16
Spark Driver和Executor是Spark中的两个重要组件。 Spark Driver是Spark应用程序的主要组件，它负责协调和管理整个应用程序的执行过程。它负责将应用程序分解成任务，并将这些任务分配给不同的Executor进行执行。Spark Driver还负责维护应用程序的状态，包括任务的进度、数据的分布和执行结果等。 Spark Executor是Spark应用程序的工作节点，它负责执行Spark任务。每个Executor都是一个独立的进程，它可以在集群中的任何节点上运行。Executor负责从Driver接收任务，并将任务分解成更小的任务单元，然后将这些任务单元分配给线程池进行执行。Executor还负责将执行结果返回给Driver。 总之，Spark Driver和Executor是Spark应用程序的两个核心组件，它们共同协作完成Spark应用程序的执行过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值