2-2SparkContext的submit以及原理大致剖析

最新推荐文章于 2022-02-28 13:01:08 发布
最新推荐文章于 2022-02-28 13:01:08 发布
阅读量288 收藏
点赞数 1
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42656794/article/details/90203352
版权
当提交一个Spark工程时，程序首先通过spark-submit脚本提交到不同模式（如local, standalone, Yarn）。SparkContext构造DAGScheduler和TaskScheduler，并向Master注册Application，Master在Worker上启动Executor。Job的每个Action创建Job，DAGScheduler将其划分为Stage，TaskScheduler将Task提交到Executor执行。Task分为ShuffleMapTask和ResultTask，大量Task并行操作RDD的partition，通过RDD的iterator方法执行自定义函数。" 13276223,1528597,使用JS轻松实现页面回顶功能,"['前端开发', 'HTML', 'CSS', 'JavaScript']
摘要由CSDN通过智能技术生成

1打包一个spark工程
2在spark安装目录的bin下，有一个spark-submit脚本
3exec “ S P A R K H O M E " / b i n / s p a r k − c l a s s o r g . a p a c h e . s p a r k . d e p l o y . S p a r k S u b m i t " {SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit " SPARKH​OME"/bin/spark

最低0.47元/天 解锁文章
吗达拉
关注
专栏目录
spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群
erainm
10-01 924
 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud)，方便开发测试和生产部署。 概述 本地模式:Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。 本地模式LocalMode运行:启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分 配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。 1)
大数据各框架的原理与知识点
sky
04-03 3655
以下是根据自己的总结和梳理,建议入过门大数据的人看.写的很片面,没有图片,我仅仅想把握学的东西梳理下. Hadoop篇 数据仓库 数据仓库,简写DW,是为企业级所有级别的决策制定过程,提供所有类型数据支持的战略集合.是单个数据存储,处于分析性报告和决策支持的而创建. HDFS原理 客户端将数据上传到DateNode,然后通过硬盘(数据节点)的水平复制功能,达到冗余度的要求.而主节点N...
Spark源码解析(二):SparkContext流程
Oeljeklaus的博客
07-09 3757
SparkContext内部执行流程 SparkContext内部执行的时序图 对于这个时序图的具体描述如下: 1.SparkSubmit在main()方法中执行，然后根据提交的类型调用相应的方法，这里是”Submit”，调用submit()方法，submit()里面进行一些判断后， 使用反射Class.forName(childMainClass, true, loader)，然...
Spark1.3从创建到提交：2)spark-submit和SparkContext源码分析
Javis486的专栏
12-29 1215
spark-sumit脚本 假如Spark提交的命令如下: bin/spark-submit --jar lib/spark-examples-1.3.1-hadoop2.6.0.jar --class cn.spark.WordCount --master spark://master:7077 --executor-memory 2g --total-executor-cores 4
Spark-Submit 工作流程(SparkContext的初始化)
03-26 215
DriverApplication 的执行与输出都是通过 SparkContext 来完成, 在正式提交之前,首先启动 SparkContext , sparkContext 隐藏了网络通新,分布式部署,消息通信,存储能力, 计算能力, 缓存能力,文件服务,web 服务等,应用程序开发者只需要使用 SparkContext 提供的 API 进行开发SparkContext的初始化 ...
Spark 任务提交的底层原理图
weixin_43467992的博客
11-28 542
自己总结了一下，花了一张图 1.通过Spark-submit脚本提交代码到集群上运行。 2.Driver进程。当我们开始初始化代码第一行的SparkContext上下文的时候，会创建两个对象——DAG Scheduler、Task Scheduler 3.DAG Scheduler会通过stage划分算法进行stage的划分，然后通过创建TaskSet将所有的Task提交到Task Sched...
spark submit
MrLeebk
03-20 577
spark on yarn 的提交模式 资源参数调优 spark资源参数调优，其实主要就是对spark运行中各个使用资源的地方,通过调节各种参数，来优化资源的使用效率 从而提升Spark作业的执行性能。 以下参数就是spark中主要的资源参数，每个参数都对应着作业运行原理的某个部分，在这里同时给出了参数调优的参考值 num-executors 参数说明： 该参...
2. spark源码学习分享：DAGScheduler.runJob
那个番薯
12-08 1019
零、前置      上一章分享了reduceByKey方法，发现transformation操作在最后只会将具体的操作记录到rdd中而并不会实际执行，函数的实际执行会延迟到spark解析到action类型操作才会触发。action类型的操作中会调用runJob将job提交到listenerBus中供listenerBus调度。本章就来详细地跟读一下runJob方法。     在跟读完本章的源码
《深入理解SPARK：核心思想与源码分析》（第1章）
热门推荐
beliefer的博客
01-15 2万+
在深入了解一个系统的原理、实现细节之前，应当先准备好它的源码编译环境、运行环境。如果能在实际环境安装和运行Spark，显然能够提升读者对于Spark的一些感受，对系统能有个大体的印象，有经验的技术人员甚至能够猜出一些Spark采用的编程模型、部署模式等。当你通过一些途径知道了系统的原理之后，难道不会问问自己？这是怎么做到的。如果只是游走于系统使用、原理了解的层面，是永远不可能真正理解整个系统的。很多IDE本身带有调试的功能，每当你阅读源码，陷入重围时，调试能让我们更加理解运行期的系统。如果没有调试功能，不敢
Spark DAG之SubmitJob
u011564172的博客
04-20 5782
介绍DAGScheduler使用EventLoop异步处理Job的流程
Spark DAG之SubmitJob
pre_tender的博客
10-04 272
文章目录概要1. EventLoop2. DAGSchedulerEvent3. DAGSchedulerEventProcessLoop4. Job 概要 介绍DAGScheduler使用EventLoop(LinkedBlockingDeque)异步处理Job的流程，程序由同步改为异步是优化并发，提升性能的常见手段，在spark中使用的非常多。 1. EventLoop 异步处理借助于Even...
spark源码解析-sparkSubmit分析
missv5的博客
11-25 305
1.引入 为了简单测试项目功能，我们可能只需要使用spark-shell就可以完成，但是企业级项目我们都是先打包好之后使用spark-submit脚本完成线上的spark项目部署。 ./bin/spark-submit \ --class com.example.spark.Test \ --master yarn \ --deploy-mode client \ /home/hadoop/dat...
Spark学习——Job的提交和运行
Miracle_shen的博客
06-01 1632
Spark学习——Job的提交和运行本篇文章主要解决的问题 1.Spark实验环境搭建流程 2.Spark中job生成和运行的具体步骤 3.Spark布置环境中组件构成分成哪几个部分本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。**实验环境搭建** 在进行后续操作前，确保下列条件已满足。 下载spark binary 安装scala
Spark 2.x 提交Job源码浅析
孙大迪迪的博客
11-17 257
大家都知道，spark job的提交是触发了Action操作，现在我在RDD.scala中找到collect算子，在这下面是有一个runjob方法 def collect(): Array[T] = withScope { val results = sc.runJob(this, (iter: Iterator[T]) => iter.toArray) Array.con...
submit()和execute()区别原理 通过源代码的区别
天上飞的云传奇
02-28 174
之前的一篇线程池 submit()执行怎么获取到的返回值只是讲了怎么使用，还有一部分源码。 这篇具体从 提交任务，到具体怎么 传入Runnable 会可以有返回值？并且还涉及线程池中线程怎么执行任务？ 概念级的区别可以看之前的文章。 从submit构造方法开始submit()的出现在ExecutorService，具体实现是它的实现类AbstractExecutorService 有三个构造方法 <T> Future<T> submit(Callable<T> task
Unity可编程渲染管线SRP
mozhi
05-28 897
一、RenderPipeline类 通过SRP可以实现对渲染管线的完全控制，它提供了需要的工具来创建符合项目需求的渲染管线和效果；通过在C#脚本中定义一系列的命令来控制每一帧的渲染过程，和传统内置管线不同，它开放了更多的接口，给了开发者更大的自由度，但是又不至于像OpenGL手写管线那么复杂，可以很好满足开发者既需要自定义管线又要简单快捷的开发需求，降低了渲染管线的开发门槛； 该类用于srp中...
Spark系列文章一：Spark 提交任务流程详解
myc1234567的博客
10-18 8156
一、spark提交任务流程概述 1.1、流程概述 1、构建spark执行环境（初始化sparkcont）； 2、SparkContext向资源管理器注册并申请Executor资源； 3、资源管理器分配Executor资源，Executor向资源管理器发送心跳汇报状态； 4、Executor向sc注册并申请task； 5、sc向Executor发送task，Executor执行task； 6、运行完成后，sc向资源管理器申请注销资源。 1.2、流程图解（多图） 二、spark...
Unity SRP初识笔记
_hiJack的专栏
08-25 763
https://docs.unity3d.com/Manual/ScriptableRenderPipeline.html 可编程渲染管线（SRP）是Unity内置渲染管线的替代方法。 Unity提供了HDRP(高清渲染管线)和URP(通用渲染管线)两种模板 更自由灵活的自定义管线 使用SRP，可以通过C＃脚本控制和定制渲染 。 这样，您可以根据需要稍微修改或完全构建和自定义渲染管道。 与内置的Unity渲染管道相比，SRP提供了更多的粒度和自定义选项。 可以使用一种预先构建的SRP来满足您的特
Struts2入门配置教程：处理form与submit
在本文档中，我们将逐步了解如何入门Struts2的配置，以及如何处理一个form中的多个submit按钮。教程使用的是Struts2.0.11.1版本，配合MyEclipse6、Tomcat6、JDK1.5.0_12和JavaEE5.0进行开发。 首先，要开始使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值