图解sparkContext初始化

最新推荐文章于 2022-07-18 09:41:28 发布
最新推荐文章于 2022-07-18 09:41:28 发布
阅读量259 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a799581229/article/details/106580719
版权

之前看了半本书《深入理解Spark：核心思想与源码分析》， 为什么说是半本，因为看不下去了，这本书太喜欢贴scala代码却不解释，但自己那时候不太了解如何去阅读源码，所以希望借助它学习一下。这里贴一贴学习的过程。

sparkContext初始化的内容

在这里插入图片描述

一些问题和思考

Q： SparkConf配置信息来自哪些？
A： spark-submit时spark-default.conf里的配置， spark-submit时写入的命令参数

Q： SparkContext必须指定哪2个内容？
A： 指定s.master部署模式和s.app.name应用名

Q：SparkContext到底是干嘛的？
A：任务执行中所有角色都要从sparkContext中获取一些信息，来进行任务的执行。比如各worker需要知道shufflerManager、blockservice之类的信息。
在这里插入图片描述

DrawnBreak
关注
专栏目录
Spark学习之路 （七）Spark 运行流程
微信搜：import_bigdata，大数据领域硬核原创作者
02-12 644
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 一、Spark中的基本概念 二、Spark的运行流程 2.1　Spark的基本运行流程 三、Spark在不同集群中的运行架构 3.1　Spark on Standalone运行过程 3.2　Spark on YARN运行过程 正文 一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkCo..
SparkContext初始化
qq_36345509的博客
08-13 501
SparkContext初始化 首先初始化一个SparkContext上下文对象。（在SparkSQL或者SparkStreaming的时候并没有在代码中初始化SparkContext，但是在这两个方法中隐式的初始化了SparkContext这个方法。） SparkContext是初始化提交集群的环境变量，不需要开启进程，所以在这个类中是没有main方法的。 首先根据传进来的参数，创建了Spark...
SparkContext的初始化
fengshaungme的博客
02-13 405
1.简介 SparkContext作为Spark程序的入口，相当于程序的main函数，足以说明它的重要性。官方对于SparkContext的定义是下面这样的注释： /** Main entry point for Spark functionality. A SparkContext represents the connection to a Spark cluster, and can be...
sparkContext之一：sparkContext的初始化分析
weixin_33919941的博客
04-13 203
 Spark源码学习：sparkContext的初始化分析           spark可以运行在本地模式local下，可以运行在yarn和standalone模式下，但是本地程序是通过什么渠道和这些集群交互的呢？那就是sparkContext，他在spark生态系统中的作用不言而喻，绝对是最重要的，整体架构如图所示：         这里我们简单的来剖析一下，sparkContex...
SparkContext scala初始化篇
m0_56494324的博客
05-04 2896
第一关:sparkcontext初始化 import org.apache.spark.{SparkConf, SparkContext} object Test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("educoder").setMaster("local") val sc=new SparkContext(conf) ...
Spark源码系列（四）图解作业生命周期
03-03
这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，letyouknow！...在standalone的模式下，TaskScheduler的实现类是TaskSchedulerImpl，在初始化它的时候SparkContext会传入一个Spa
Spark----SparkContext解析
XiaodunLP的博客
02-16 679
SparkContext解析 SparkContext是用户通往Spark集群的唯一入口，任何需要使用Spark的地方都需要先创建SparkContext，那么SparkContext做了什么？ 首先SparkContext是在Driver程序里面启动的，可以看做Driver程序和Spark集群的一个连接，SparkContext在初始化的时候，创建了很多对象： 上图列出了SparkCo...
初识 Spark - 7000字+15张图解，学习 Spark 入门基础知识
欢迎关注数据类微信公众号：数人之道，分享数据知识、干货、资讯
02-23 915
欢迎关注「数人之道」公众号 获取更多数据知识、干货、资讯！ 延伸阅读： 初识 Spark | 带你理解 Spark 中的核心抽象概念：RDDSpark RDD 的概念、操作、依赖关系https://mp.weixin.qq.com/s?__biz=MzkwNTI4MDEzOQ==&mid=2247485795&idx=1&sn=5ec304fde1d31f6e269d8ddcb07e8c1c&chksm=c0fb6687f78cef91bd2b81fb5602e...
Spark内核架构--清晰图解
S_Running_snail的博客
04-18 354
详细步骤： 1.提交的jar包 2.spark-submit提交到集群上运行 3.在提交的机器上，运行sparkSubmit的main方法（通过反射的方式创建我们编写主类的实例对象，调用main方法，执行代码） 4.当代码到SparkContext，开始初始化SparkContxt 5.初始化SparkContext，创建DAGscheduler，TaskScheduler 6、当T...
3，spark源码分析-SparkContext初始化
北方的大数据之路
09-08 655
我们在driver中启动用户线程之后，就进入了用户的Main-class。在样例中，我们首先实例化一个SparkSession, 在sparkSession中初始化SparkContext. SparkContext实例化的过程是一个比较复杂的过程，初始化的东西比较多。包括SparkEnv, spark-history, 心跳，状态追踪，广播，资源/任务调度，底层通信。下图是从网友博客找到的SparkContext包含的比较重要的组件，以下我从SparkContext实例化过程中组件初始化的顺序对各个组
SparkContext初始化--Java篇 Educoder
weixin_46331685的博客
05-11 1831
import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.SparkConf; import java.util.Arrays; import java.util.List; public class Edu { public static void main(String[] args) { /********** Begin /
SparkContext初始化过程
hongmofang10的博客
07-01 283
SparkContext是Spark进行应用开发的主要接口，是Spark上层应用与底层实现的中转站。SparkContext最重要的入参是SparkConf。 步骤一： 读取SparkConf参数配置，进行一些基本的参数值的判断赋值。 步骤二： 根据SparkConf创建SparkEnv，包含Spark实例运行时候所需要的所有运行时所有环境变量。 步骤三： 创建TaskScheduler，同时根据Spark运行模式选择 相应的schedulerBackend createTaskSchedul
Spark源码-任务提交流程之-6-sparkContext初始化
m0_37817767的博客
07-18 929
spark源码阅读、算子
SparkContext初始化机制
威少（微笑）
05-29 1898
目录 零：初始触发 一：TaskSchedule初始化(宏观) 二：DAGScheduler初始化(宏观) 三：SparkUI 四：源码解析 五：重点问题 零：初始触发 位置：org.apache.spark.SparkContext.scala 初始化代码： val conf = new SparkConf().setAppName("WordCount"); val sc...
SparkContext 初始化过程源码说明
Small_Ran的博客
07-02 481
本篇主要的目的是阐述 SparkContext 初始化过程中，重要环节源码的逻辑流程的梳理。SparkContext 实例化的过程是一个比较复杂的过程，主要包括SparkEnv、spark-history、心跳检测、状态追踪、广播、资源与任务调度、底层通信等等组件的初始化。本篇文章的主要目的在于：了解 Spark 提交任务底层是怎样将 Task 任务提交至 Executor 中；了解 SparkContext 初始化过程中几个重要的环节。......
图解SparkContext创建过程
大唐帝国—前营
09-21 868
1.SparkContext构建的顶级三大核心对象：DAGScheduler、TaskScheduler、ShedulerBackend，其中： 1）DAGScheduler是面向Job的Stage的高层调度器； 2）TaskScheduler是一个接口，根据具体的Cluster Manager的不同会有不同的实现，Standalone模式下具体的实现是TaskSchedulerImpl；
ril层初始化：RILC流程详解及工作图解
本文将深入探讨Android系统的RIL（Radio Interface Layer）模块，特别是RILC的初始化过程和其工作流程。RIL是Android设备与无线网络连接的核心组件，主要负责处理底层的AT命令交互，确保手机与GSM网络的通信。在硬件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值