SparkContext初始化机制

最新推荐文章于 2024-04-18 18:01:29 发布
最新推荐文章于 2024-04-18 18:01:29 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： # spark源码分析 文章标签： SparkContext初始化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39966065/article/details/90677564
版权
本文深入探讨了SparkContext的初始化过程，包括TaskSchedule的创建、DAGScheduler的初始化、SparkUI的启动以及源码解析。在TaskSchedule初始化时，SparkDeploySchedulerBackend在Master上注册Application、Driver和Worker。DAGScheduler基于DAGSchedulerEventProcessActor进行通信，SparkUI则在4040端口展示应用状态。重点问题包括Application的注册时机和DAGScheduler的调度机制。
摘要由CSDN通过智能技术生成

目录

 

零：初始触发

一：TaskSchedule初始化(宏观)

二：DAGScheduler初始化(宏观)

三：SparkUI

四：源码解析

五：重点问题

零：初始触发

位置：org.apache.spark.SparkContext.scala
初始化代码：
val conf = new SparkConf().setAppName("WordCount");
val sc = new SparkContext(conf)

一：TaskSchedule初始化(宏观)

1.createTaskScheduler() ——》 TaskSchedulerImpl

2.TaskSchedulerImpl.start——》SparkDeploySchedulerBacked.start

3.AppClient——》ClientActor

4.registerWithMaster()
   tryRegisterAllMasters()
   RegisterApplication(case class)
在Master 上注册 Application
在Master 上注册 Driver
在Master 上注册 Worker
Worker上的Executor 反向注册到 TaskSchedule 中

重点：TaskSchedulerImpl底层实际主要基于    SparkDeploySchedulerBackend    来工作

 

二࿱

最低0.47元/天 解锁文章
威少SOS
关注
专栏目录
SparkContext初始化
qq_36345509的博客
08-13 498
SparkContext初始化 首先初始化一个SparkContext上下文对象。（在SparkSQL或者SparkStreaming的时候并没有在代码中初始化SparkContext，但是在这两个方法中隐式的初始化了SparkContext这个方法。） SparkContext是初始化提交集群的环境变量，不需要开启进程，所以在这个类中是没有main方法的。 首先根据传进来的参数，创建了Spark...
SparkContext的初始化
张之海的博客
02-19 1391
SparkContext的初始化步骤如下： 1 创建Spark执行环境SparkEnv 1.2 什么是SparkEnv？ SparkEnv是Spark的执行环境对象，其中包括许多与Executor执行相关的对象，所以SparkEnv存在于需要创建Executor的进程中。那么需要创建Executor的进程有哪些呢？ 在local模式下，Driver进程中会创建Executor。 在local-c...
SparkContext scala初始化篇
m0_56494324的博客
05-04 2894
第一关:sparkcontext初始化 import org.apache.spark.{SparkConf, SparkContext} object Test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("educoder").setMaster("local") val sc=new SparkContext(conf) ...
sparkContext之一：sparkContext的初始化分析
weixin_33919941的博客
04-13 201
 Spark源码学习：sparkContext的初始化分析           spark可以运行在本地模式local下，可以运行在yarn和standalone模式下，但是本地程序是通过什么渠道和这些集群交互的呢？那就是sparkContext，他在spark生态系统中的作用不言而喻，绝对是最重要的，整体架构如图所示：         这里我们简单的来剖析一下，sparkContex...
spark源码二：sparkContext初始化之spark的执行环境SparkConf
qq_26138325的博客
06-25 489
SparkEnv是Spark的执行环境对象，其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor，local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或者CoarseGrainedExecu...
SparkContext、SparkConf和SparkSession的初始化
跳跃的list
09-09 240
SparkContext和SparkConf 　　任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。 初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。 val conf = new SparkConf().s...
SparkContext的初始化（仲篇）——SparkUI、环境变量及调度
热门推荐
beliefer的博客
02-23 2万+
任何系统都需要提供监控功能，用浏览器能访问具有样式及布局，并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务，它的构成如图3-1所示。
Spark-Core源码学习记录 3 SparkContext、SchedulerBackend、TaskScheduler初始化及应用的注册流程
u011372108的博客
04-16 301
Spark-Core源码学习记录 该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。 从本篇文章开始，进入到Spark核心的部分，我们将依次展开。 SparkContext 基石 SparkContext在整个Spark运行期间都起着重要的作用，并在其中完成了许...
SparkContext初始化的流程(源码)
CyAurora的博客
08-15 1257
【代码】SparkContext初始化的流程(源码)
SparkContext 初始化过程源码说明
Small_Ran的博客
07-02 479
本篇主要的目的是阐述 SparkContext 初始化过程中，重要环节源码的逻辑流程的梳理。SparkContext 实例化的过程是一个比较复杂的过程，主要包括SparkEnv、spark-history、心跳检测、状态追踪、广播、资源与任务调度、底层通信等等组件的初始化。本篇文章的主要目的在于：了解 Spark 提交任务底层是怎样将 Task 任务提交至 Executor 中；了解 SparkContext 初始化过程中几个重要的环节。......
Spark源码-任务提交流程之-6-sparkContext初始化
m0_37817767的博客
07-18 925
spark源码阅读、算子
SparkContext初始化--Java篇 Educoder
weixin_46331685的博客
05-11 1829
import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.SparkConf; import java.util.Arrays; import java.util.List; public class Edu { public static void main(String[] args) { /********** Begin /
SparkContext初始化过程
hongmofang10的博客
07-01 281
SparkContext是Spark进行应用开发的主要接口，是Spark上层应用与底层实现的中转站。SparkContext最重要的入参是SparkConf。 步骤一： 读取SparkConf参数配置，进行一些基本的参数值的判断赋值。 步骤二： 根据SparkConf创建SparkEnv，包含Spark实例运行时候所需要的所有运行时所有环境变量。 步骤三： 创建TaskScheduler，同时根据Spark运行模式选择 相应的schedulerBackend createTaskSchedul
SparkContext初始化--Java篇
最新发布
weixin_51439828的博客
04-18 377
/第二步：初始化SparkContext。//第三步：关闭SparkContext。根据提示，在右侧编辑器补充代码，使程序正确运行,输出。//第一步：设置SparkConf。本关任务：掌握如何实现。
3，spark源码分析-SparkContext初始化
北方的大数据之路
09-08 648
我们在driver中启动用户线程之后，就进入了用户的Main-class。在样例中，我们首先实例化一个SparkSession, 在sparkSession中初始化SparkContext. SparkContext实例化的过程是一个比较复杂的过程，初始化的东西比较多。包括SparkEnv, spark-history, 心跳，状态追踪，广播，资源/任务调度，底层通信。下图是从网友博客找到的SparkContext包含的比较重要的组件，以下我从SparkContext实例化过程中组件初始化的顺序对各个组
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值