大数据开发-Spark-一文理解Spark中的Stage,Executor,Driver...

最新推荐文章于 2022-05-05 12:41:03 发布
最新推荐文章于 2022-05-05 12:41:03 发布
阅读量719 收藏 5
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hu_lichao/article/details/111829136
版权
本文从Spark的运行机制出发，通过WordCount案例深入解析Spark中的Stage、Executor、Driver等核心概念。了解Spark应用程序如何在分布式集群上执行，以及Job、Stage、Task的划分和Executor的工作原理。
摘要由CSDN通过智能技术生成

1.引言吧

阿西吧，对于Spark新手来说，首先对于Spark的运行机制不了解，往往跟你交流的时候，互相都不知道在说什么，比如部署模式和运行模式，可能都混为一谈，对于有一定开发经验的老手，即使知道运行机制，可能在表述上，对Spark的各种术语也不是很懂，因此理解Spark术语，是Spark开发者之间沟通的必要之路，本文从Spark的运行机制开始，到WordCount案例来理解Spark中的各种术语。

2.Spark的运行机制

首先拿官网的一张图，来说明，其是分布式集群上spark应用程序的一般执行框架。主要由sparkcontext（spark上下文）、cluster manager(资源管理器)和▪executor（单个节点的执行进程）。其中cluster manager负责整个集群的统一资源管理。executor是应用执行的主要进程，内部含有多个task线程以及内存空间。

file Spark的主要运行流程如下：

  1. 应用程序在使用spark-submit提交后，根据提交时的参数设置（deploy mode）在相应位置初始化sparkcontext，即spark的运行环境，并创建DAG Scheduler和Task Scheduer，Driver根据应用程序执行代码，将整个程序根据action算子划分成多个job，每个job内部构建DAG图，DAG Scheduler将DAG图划分为多个st

最低0.47元/天 解锁文章
Hoult-吴邪
关注
[Spark优化]--解决Spark数据倾斜（Data Skew）的N种姿势
欢迎来到我的博客，一起探索代码里的世界！
03-12 1204
本文转发自技术世界，原文链接　http://www.jasongj.com/spark/skew/摘要本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。为何要处理数据倾斜（Data Skew）什么是数据倾斜对Spark/Hadoop这样的...
一文搞懂spark基本架构及原理（超详细）
大柳的博客
12-30 6472
Spark的资源管理架构 首先介绍一下Spark的资源管理架构。Spark集群考虑到了未来对接一些更强大的资源管理系统（如Yarn、Mesos等），没有在资源管理的设计上对外封闭，所以Spark架构设计时将资源管理抽象出了一层，通过这种抽象能够构建一种插件式的资源管理模块。 见上图，Master是Spark的 主控节点，在实际的生产环境中会有多个Master，只有一个Master处于active状态。Worker是Spark的工作节点，向Master汇报...
spark中job、stage、task、partition、executor概念理解以及分区数深入探究
bigdata_player
12-21 3033
概念 1. job定义： 我们都知道，在spark rdd中，有action、transform操作，当真正触发action时，才真正执行计算，此时产生一个job任务。 2. stage定义： 以shuffle为界，当在一个job任务中涉及shuffle操作时，会进行stage划分，产生一个或多个stage。 3. task定义： 一个stage...
【大数据】spark Yarn的使用（5） - Driver和Executor
思南的博客
08-24 731
在local模式下 驱动程序driver就是执行了一个Spark Application的main函数和创建Spark Context的进程，它包含了这个application的全部代码。（在那台机器运行了应用的全部代码创建了sparkContext就是driver,以可以说是你提交代码运行的那台机器） Driver:使用Driver这一概念的分布式框架有很多，比如hive,Spark中的Driver即运行Application的main()函数，并且创建SparkContext，创建SparkConte
Spark学习笔记1：Application，Driver，Job，Task，Stage理解
weixin_30878501的博客
07-24 322
看了spark的原始论文和相关资料，对spark中的一些经常用到的术语做了一些梳理，记录下。 1，Application application（应用）其实就是用spark-submit提交的程序。比方说spark examples中的计算pi的SparkPi。一个application通常包含三部分：从数据源（比方说HDFS）取数据形成RDD，通过RDD的transformation和act...
【Spark】worker、executor、stage、task、partition关系
zkq_1986的博客
12-07 5568
一个物理节点可以有一个或多个worker。 一个worker中可以有一个或多个executor，一个executor拥有多个cpu core和memory。 只有shuffle操作时才算作一个stage。 一个partition对应一个task。 如下示例，总共有4个stage（包括最后一个count），分区数10个，从而task也为10。假如总共的core数为2，那个这10个ta
spark job， stage ，task介绍。
hellojoy的博客
07-17 2991
1. spark 如何执行程序？ 首先看下spark 的部署图：    节点类型有： 1. master 节点： 常驻master进程，负责管理全部worker节点。 2. worker 节点： 常驻worker进程，负责管理executor 并与master节点通信。 dirvier：官方解释为： The process running the main() function o...
硬核，一文打尽 Spark
公众号：微观技术
05-05 452
大家好，我是Tom哥互联网时代，随着业务数据化，数据越来越多。如何用好数据，做好数据业务化，我们需要有个利器。很多人都用过Hadoop，包含两部分 HDFS 和 MapReduce，其中 MapReduce 是Hadoop的分布式计算引擎，计算过程中需要频繁落盘，性能会弱一些。今天，带大家 快速熟悉一个大数据框架，SparkSpark 是内存计算引擎，性能更好一些。盛行自 2014年，支持 流计算 Streaming、数据分析 SQL、机器学习 MLlib、图计算 GraphFrames 等多种场景。语言支
“戏”说spark---spark Shuffle详解（二）
weixin_35602748的博客
12-05 752
Spark中两种ShuffleManager，HashShuffleManager和SortShuffleManager，那么在Shuffle中，Reduce节点是怎么知道map端溢写文件的位置的呢？Reduce端是怎么拉取数据的呢？
spark日志分析
qzc_root的博客
05-27 446
文章目录清洗配置文件留存率活跃用户 清洗 package etl import java.util.Properties import org.apache.commons.lang.StringUtils import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql._ import org.apache.spark.sql.types.{S
Spark stage提交
大数据技术分享
12-04 188
Spark stage提交 更多资源 github: https://github.com/opensourceteams/spark-scala-maven Youtube 视频 Spark Stage提交(Youtube视频) : https://youtu.be/NI8-_X6mbl4 作业提交事件处理 DAGScheduler 处事作业提交事件 用参数finalStage 调用 ...
Spark任务一直停在某个Stage不动问题
whgyxy的博客
03-24 1万+
解决Spark莫名卡住问题 有时候Spark任务莫名会在某个Stage卡住，然后一直停在那里，如果任务重新跑的话又是没有问题的，在实际项目中如果这样的任务出现了，需要仔细分析Spark的log，这样的情况一般是数据不均衡导致的某个节点任务量偏大，而这个节点分配不到太多内存（其他还有很多任务都在这里运行）导致任务卡顿。有几个参数非常有效，主要是Spark的任务推测执行参数，任务推测执行默认是不开启的...
Spark角色介绍、Driver Program、SparkContext、Cluster Manager、Worker Node、Executor、Task 04
啊策策大数据社区
06-04 1917
前言 Spark是基于内存计算的大数据并行计算框架。 因为其基于内存计算，比Hadoop中MapReduce计算框架具有更高的实时性，同时保证了高效容错性和可伸缩性。 Spark架构使用了分布式计算中master-slave模型，master是集群中含有master进程的节点，slave是集群中含有worker进程的节点。 Driver Program：运行main函数并且新建SparkC...
Spark之Stage的生成及任务的执行
Dreamming Time的博客
06-18 2401
每一个Spark应用都会创建一个sparksession，用来跟Spark集群交互，如果提交任务的模式为cluster模式，则Driver进程会被随机在某个worker结点上启动，然后真正执行用户提供的入口类，或是使用Spark内置的入口类，同时在Driver中会创建 clientmasterworkerdriverdirverexecutorRequestSubmitDriverLaunchDrivernew DriverRunner["deploy.worker.DriverWrapper"]Proce
Apache Spark探秘：多进程模型还是多线程模型？
笔尖的痕的专栏
11-12 1050
Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spark则直接采用了开源软件Akka，该软件实现了Actor模型，性能非常高。尽管二者在server
spark调优
wyc_595998412的博客
08-26 601
性能调优 分配更多资源 1.1.1、分配哪些资源？ Executor的数量 每个Executor所能分配的CPU数量 每个Executor所能分配的内存量 Driver端分配的内存数量 1.1.2、在哪里分配这些资源？ 在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数： /usr/local/spark/bin/spark-s...
Spark报错与日志问题查询指南
05-29 1097
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示： 对于driver日志而言，代码中的println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里。...
Spark 查看某个正在执行的或已结束的任务中executor与driver日志
热门推荐
小鹅鹅的博客
07-26 1万+
1. 在web界面上查看 任务正在运行 如果运行在 YARN 模式，可以在 ResourceManager 节点的 WEB UI 页面根据 任务状态、用户名 或者 applicationId Search 到应用。 点击表格中 Tracking UI 列的History 链接； 点击相关的 ApplicationId 链接，进入到详情页面点击上面的 Tracking URL: History 链...
Spark中job、stage、task的划分+源码执行过程分析
hjw199089的博客
09-11 1万+
job、stage、task  Worker Node：物理节点，上面执行executor进程 Executor：Worker Node为某应用启动的一个进程，执行多个tasks Jobs:action 的触发会生成一个job, Job会提交给DAGScheduler,分解成Stage, Stage:DAGScheduler 根据shuffle将job划分为不同的stage，同一个sta
kylin.query.spark-conf.spark.executor.memoryoverhead=4g
最新发布
09-19
kylin.query.spark-conf.spark.executor.memoryOverhead=4g是Kylin中关于Spark执行器内存的参数设置。在Kylin中使用Spark作为计算引擎时，该参数用于设置每个Spark执行器在运行过程中可以使用的最大堆外内存。堆外内存是指位于堆以外的Java进程使用的内存空间，它通常用于存储直接内存，如Java垃圾收集器的元数据和Spark任务的执行过程中产生的临时数据。 通过将kylin.query.spark-conf.spark.executor.memoryOverhead设置为4g，可以为每个Spark执行器分配4GB的堆外内存空间。这样做的目的是提高Spark任务的执行效率和稳定性。由于Spark任务在执行过程中会产生大量的临时数据，如果没有足够的堆外内存空间进行存储和管理，可能会导致Spark任务频繁进行垃圾收集和内存回收，进而影响任务的性能和稳定性。 设置kylin.query.spark-conf.spark.executor.memoryOverhead=4g时需要考虑集群的可用内存大小和Spark任务的实际需求。如果集群的可用内存比较充足，并且Spark任务产生的临时数据较多，则可以适当增加该参数的值，以提高Spark任务的执行效率。反之，如果集群的可用内存有限或者Spark任务产生的临时数据较少，则可以减小该参数的值，以节省资源和提高任务的稳定性。 总之，kylin.query.spark-conf.spark.executor.memoryOverhead=4g是Kylin中关于Spark执行器内存的配置参数，它决定了每个Spark执行器可以使用的最大堆外内存空间大小，合理设置该参数可以提高Spark任务的执行效率和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值