spark的执行过程

最新推荐文章于 2023-12-12 13:11:27 发布
最新推荐文章于 2023-12-12 13:11:27 发布
阅读量289 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mlsoftware/article/details/104111306
版权

在这里插入图片描述
1、spark应用程序启动（driver）
2、调用spark context初始化配置和输入数据
3、spark context启动DAGSchedule构造DAG图，切分任务
4、Driver向Cluster Manager请求计算资源
5、Cluster Manger根据Driver的主机地址等信息同志集群的所有计算节点Worker
6、Worker收到信息，根据Driver的主机地址，向Driver通信注册，根据本地空闲资源，报告可以领取的任务数
7、Driver根据DAG分配任务给Worker
8、Worker收到任务后，启动Executor执行任务，如果本地没有Driver代码，则下载，通过反射加载执行

龙哥vw
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SparkTask的执行流程1
08-08
SparkTask的执行流程1
Spark执行流程详解
qq_42456324的博客
04-29 4395
1、在命令行执行提交命令时，在spark-submit脚本中，调用了SparkSubmit类中的mainMethod.invoke方法，这个类通过反射，调用我们自定义的类。 2、我们自定义类中的main方法开始执行，初始化了SparkConf和SparkContext，在SparkContext对象被初始化的时候，构造出来DAGScheduler和TaskScheduler。 3、Driver端会对我们的代码进行解析，根据算子记录rdd之间的依赖关系，生成DAG有向无环图。 当程序触发action..
Spark 作业执行流程
晓晓的天空
03-14 3930
Spark 作业执行流程
【Spark精讲】Spark任务运行流程
最新发布
话数Science
12-12 1742
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
第一部分：Spark基础篇
index_test的博客
09-05 6328
Spark基础篇包含：job运行流程、任务提交阶段、运行原理、与MR的区别、RDD、DAG、算子类等知识点
Spark执行流程（详细）
不二先生的笔记
08-04 4875
大体执行流程 1.driver执行main方法（懒执行），action算子触发触发job 2.根据宽窄依赖划分stage 3.每个stage会被整理成taskset(包含多个task)4.每个task分发到具体的Executor去执行 完整调度流程 1.当Driver启动的时候，初始化时会相应的创建DagScheduler、TaskScheduler 2.TaskScheduler初始化的时候，会创建SchedulerBacked(主要负责集群之间的通讯) 3.Sc...
SparkShuffle过程分析：Reduce阶段处理流程
02-25
同时，在Executor上运行一个ShuffleMapTask，返回了一个MapStatus对象，下面是ShuffleMapTask执行后返回结果的相关代码片段：如果ShuffleMapTask执行过程没有发生异常，则最后执行的调用为：这里返回了一个MapStatus...
spark优化
01-07
1.Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在...
spark-2.2.2安装流程
05-06
也就是说从一个RDD转换生成另一个RDD的操作不是马上执行，Spark在遇到Transformations操作时只会记录需要这样的操作，并不会去执行，需要等到有Actions操作的时候才会真正启动计算过程进行计算。 Actions：操作...
Spark总体架构和运行流程
01-07
本节将首先介绍 Spark 的运行架构和基本术语，然后介绍 Spark 运行的基本流程，最后介绍 RDD 的核心理念和运行原理。 Spark 总体架构 Spark 运行架构如图 1 所示，包括集群资源管理器（Cluster Manager）、多个运行...
Spark底层执行原理详细解析(深度好文，建议收藏)
jin6872115的博客
08-17 747
Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执行原理。...
Spark的架构与基本运行流程
syp_net的博客
12-11 1149
Spark的架构与基本运行流程
Spark 执行流程
乐维的专栏
07-22 660
Spark 执行流程 解析 1、我们提交Spark程序通过 spark-submit (shell）提交到Spark集群中我们提交程序后会创建一个Driver进程 2、Driver构造SparkConf 初始化SparkContext ，SparkContext 构建 DAGScheduler和TaskScheduler 3、TaskScheduler 初始化后会调用会去连接Mas...
Spark系列—Spark SQL执行过程解析
数据小白的进阶之路
10-22 4222
spark-sql
spark程序执行过程
wuxizhi777的专栏
05-09 1563
这个博客写的比较好： https://blog.csdn.net/liuxiangke0210/article/details/79687240 https://www.jianshu.com/p/b9ec3c2ff8dd cluster ...
Spark运行原理【史上最详细】
热门推荐
Spark技术咖的博客
08-16 2万+
Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。 1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源（cpu、内存等） 2、Cluster manager分配应用程序执行需要的资源，在Worker节点上创建Executor 3、SparkContext...
Spark执行流程
modefrog的博客
03-18 1692
启动流程        我们写的spark程序，打成jar包,用spark-submit来提交；    local模式：当我们的程序提交到集群上时，会加载并执行我们的jar包，并找到jar包中的main函数执行一遍，执行main函数所启动的这个进程名就是SparkSubmit，这个进程就是我们所说的Driver进程；    cluster模式：会在集群中找到一台node，启动一个进程执行一遍我们提...
Spark运行机制与原理详解
Handoking的博客【学无止境】
07-17 5044
先上图（自己画的有点丑） 这个就是Spark运行的基本流程图。 或者看这个图 可以看出Spark运行经过以下几个阶段： 1.用户编写好SparkContext，新创建的SparkContext连接资源管理器cluster manager，其实Spark的还有其他优秀的资源管理器可以用，比如Standalone，Apache Mesos,YARN等。资源管理器根据用户提交SparkC...
Spark任务的任务执行流程
qq_41316200的博客
02-28 2748
（1）将我们编写的程序打成jar包 （2）调用spark-submit脚本提交任务到机场上运行 （3）运行sparkSubmit的main方法，在这个方法中通过反射的方式创建我们编写的主类的实例对象，然后调用main方法，开始执行我们的代码（注意，我们的spark中的driver就运行在sparkSubmit进程中）。 （4）当代码运行到创建SparkContext对象时，那就开始初始化SparkContext对象了 （5）在初始化SparkContext对象的时候，会创建两个特别重要的对象，分别是
spark 执行流程
08-23
Spark的执行流程包括以下几个步骤： 1. 创建SparkSession：SparkSession是Spark应用程序的入口点，用于与Spark进行交互。在创建SparkSession时，需要指定应用程序的名称和配置信息。 2. 创建RDD或DataFrame：Spark...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值