Spark源码解读之Job提交

最新推荐文章于 2021-06-16 12:04:57 发布
VIP文章 最新推荐文章于 2021-06-16 12:04:57 发布
阅读量1k 收藏 2
点赞数
分类专栏： spark 文章标签： Spark Spark Job
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xw_classmate/article/details/53690676
版权

上一篇讲解了Spark源码解读之RDD构建和转换过程，上一篇的RDD操作都是transform，也就是说结果会是一个新的RDD，并不会进行真正地计算，真正会引发Spark计算操作时action。比如first、count、collect。

WordCounts.collect()会真正出发一个Job的执行。


调用流程：

org.apache.spark.SparkContext.runJob

org.apache.spark.scheduler.DAGScheduler.runJob

org.apache.spark.scheduler.DAGScheduler.submitJob

org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.post

org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.run

org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive

org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive

org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted


最低0.47元/天 解锁文章
Wang_AI
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark源码深度解读
11-29
Spark源码解读迷你 RDD、Spark Submit、Job、Runtime、Scheduler、Spark Storage、Shuffle、Standlone算法、Spark On yarn。。。
spark 源码解读迷你书
04-13
spark 源码解读迷你书 ，推荐 先搭建好环境，intelij整好，开看
Spark源码分析之DAGScheduler以及stage的划分
happy19870612's blog
11-09 924
Spark源码分析之DAGScheduler以及stage的划分
spark wordcount
AStar的博客
01-12 1471
1、这是idea下+spark包的源码 package main.scala import org.apache.spark.{SparkConf,SparkContext} /** * Created by root on 1/12/17. */ object WordCount { val conf =new SparkConf() val sc = new Sp
Spark提交任务到YARN cluster中，提示An error occurred while calling z:org.apache.spark.api.python.PythonRDD
元元的李树专栏
11-19 1万+
报错日志截取部分如下： XXXXXXXXXX ERROR YarnSchedulerBackend$YarnSchedulerEndpoint:91 - Sending RequestExecutors(0,0,Map(),Set()) to AM was unsuccessful java.io.IOException: Failed to send RPC 7226114124420331...
Spark排错与优化
小丑鱼1127的博客
12-04 6714
文章目录 一. 运维 1. Master挂掉,standby重启也失效 2. worker挂掉或假死 二. 运行错误 1.shuffle FetchFailedException 2.Executor&Task Lost 3.倾斜 4.OOM 5.task not serializable 6.driver.maxResultSize太小 7.taskSet too large 8. dr...
SparkStreaming源码解读之数据清理内幕彻底解密
02-01
c)源码解析SparkStreaming数据清理的工作无论是在实际开发中，还是自己动手实践中都是会面临的，Spark Streaming中BatchDurations中会不断的产生RDD，这样会不断的有内存对象生成，其中包含元数据和数据本身。由此...
Apache Spark源码走读之2 -- Job的提交与运行
01-06
Apache Spark源码走读之2 -- Job的提交与运行.pdf
Spark架构原理-DAGScheduler以及stage划分算法
上海一九四三
08-12 789
原文地址：https://blog.csdn.net/zhanglh046/article/details/78485985 一、核心属性 TaskScheduler taskScheduler: task调度器。 AtomicInteger nextJobId：获取下一个jobId。 Int numTotalJobs：job总数。 AtomicInteger nextStageId...
Spark DAG之处理SubmittedJob并划分Stage
pre_tender的博客
09-17 676
文章目录概要1. Stage介绍1.1 父类Stage定义1.2 子类ShuffleMapStage、ResultStage2. 处理SubmittedJob事件附录 概要 介绍Stage的定义，DAGScheduler划分Stage流程。 1. Stage介绍 原理相关的介绍，我们在RDD运行原理一文中有介绍过，这里不在赘述 1.1 父类Stage定义 查看父类Stage的说明： 查看类定义：...
org.apache.spark.SparkException: Job aborted due to stage failure:Task 1 in stage 0.0 failed 4 times
热门推荐
LOGAN'S BLOG
10-14 4万+
在运行spark代码时，执行过半报出了如题的异常： 只能得知job没有正常执行，但是不知道具体的问题出现在哪里，没法直接看出错误就要去日志查看更详细的错误日志 每个application执行的日志都在如下路径中：hadoop安装目录下 /opt/apps/hadoop-3.1.1/logs/userlogs/ 该目录中会列出所有已经执行过的application drwx--x---. 3 root root 52 Oct 14 16:56 application_1602637680764
org.apache.spark.SparkException: Job aborted due to stage failure: Serialized task 9:0 was 1373316
糖果先生的博客
06-16 3645
项目场景： 使用Pyspark做数据清晰的时候，从小数据到大数据转换的时候报了这个错。 问题描述： org.apache.spark.SparkException: Job aborted due to stage failure: Serialized task 9:0 was 137331649 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consider increasing spar
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3046
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
破解 Kotlin 协程(5) - 协程取消篇
Kotlin中文社区
04-30 4633
关键词：Kotlin 协程 协程取消 任务停止 协程的任务的取消需要靠协程内部调用的协作支持，这就类似于我们线程中断以及对中断状态的响应一样。 1. 线程的中断 我们先从大家熟悉的话题讲起。线程有一个被废弃的 stop 方法，这个方法会让线程立即死掉，并且释放它持有的锁，这样会让它正在读写的存储处于一个不安全的状态，因此 stop 被废弃了。如果我们启动了一个线程并让它执行一些任务，但很...
spark源码剖析（一，job调用流程）
tiankonghewo的专栏
08-25 234
最近领导让做一次关于spark的分享，于是专门把spark的流程看了一边，做一下记录， 也是为了练练markdown，仅此而已。 版本信息 spark version 2.3.3 jdk 1.8 idea 2019 MacBook Pro ##从RDD开始 在spark中，一个action算子触发真正的计算，我们看下RDD上的count /** * Return the number o...
深入Spark内核：任务调度(2)-DAGScheduler
qiuhaomaodan的专栏
04-08 1477
DAGScheduler面向stage的调度(stage-oriented scheduling)的高级调度器，为每个job的不同stage计算DAG，跟踪哪些RDD和stage被物化并且发现运行job的最小的调度策略，然后以taskset为单位提交(submitTasks)给TaskScheduler。除了提交stage的DAG外， DAGScheduler基于cache的当前状态来决定每个
[zz]libvirt - Progress monitoring & cancellation of jobs
weixin_34220179的博客
02-28 89
This series introduces 2 new APIs to allow long running jobs to be monitored and cancelled. This applies to virDomainMigrate, virDomainSave, virDomainRestore and virDomainCoreDump at least. The imp...
spark-sql执行源码解读
最新发布
01-30
Spark SQL 的执行源码解读主要包括以下几个方面： 1. 解析器（Parser）：Spark SQL 使用开源项目 ANTLR 生成的解析器来将 SQL 语句解析为抽象语法树（AST）。该解析器支持 ANSI SQL 标准，可以将 SQL 语句转换为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值