Spark程序的入口之SparkContext

最新推荐文章于 2024-05-06 17:11:33 发布
置顶 最新推荐文章于 2024-05-06 17:11:33 发布
阅读量2.7k 收藏
点赞数
分类专栏： Spark 文章标签： spark 源码剖析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crazy246/article/details/79998271
版权
本文介绍了Spark程序的入口SparkContext，它负责通过资源管理器访问集群。主要流程包括加载SparkConf创建SparkEnv，创建TaskScheduler，建立DAGScheduler以及启动SparkUI。SparkUI的默认端口为4040，方便开发者监控应用状态。后续篇章将深入讲解DAGScheduler和TaskScheduler。
摘要由CSDN通过智能技术生成

       今天讲的是sparkContext，这是spark程序的入口，每次写spark程序，首先你得: new sparkContext(conf)，参数里是sparkConf，也就是一些相关配置参数。SparkContext 允许driver 应用程序通过资源管理器访问集群，这个资源管理器可以是yarn，mesos，或者是spark集群管理器。sparkContext具体干哪些活呢？细节可以说比较复杂的，我们这里只抽取最重要的几点进行讲解。

       主体流程图如下：



   下面我们一一来讲解：

  1. 加载配置文件SparkConf，创建SparkEnv

  2. 创建TaskScheduler

  3. 创建DAGScheduler

  4. 创建SparkUI

   


 1.加载配置文件SparkConf，创建SparkEnv

     这个很好理解，我们需要在程序指定像master地址，appName,,,,,,,这是初始化sparkContext的时候要加载配置文件或者相关配置参数，准备好spark环境，我们可以看下sparkContext的源码：

最低0.47元/天 解锁文章
一个程序员的自我修炼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark源码解读之SparkContext初始化
Oner.wv的专栏
12-13 8548
SparkContext初始化是Driver应用程序提交执行的前提，这里以local模式来了解SparkContext的初始化过程。 本文以 val conf = new SparkConf().setAppName("mytest").setMaster("local[2]") val sc = new SparkContext(conf) 为例，打开debug模式，然后进行分析。
Spark编程入口 — SparkContext及其初始化
zlx_code的专栏
08-30 750
在之前我们分析了Spark的内核架构运行机制，其中有一个很重要的组件SparkContext，这里我们就分析SparkContext的相关源码。 我们知道所有的Spark程序，在运行之前都需要创建一个非常重要的组件，那就是SparkContext，它负责读取SparkConf中的相关配置信息，并且初始化一些Spark Application运行时需要用到的两个重要的组件DAGScheduler和...
SparkSQL编程入口和模型与SparkSQL基本编程
最新发布
m0_51388399的博客
05-06 947
表头，表名，字段，字段类型。理解了RDD，DataFrame就容易理解些，DataFrame的思想来源于Python的pandas库，RDD是一个数据集，DataFrame在RDD的基础上加了Schema（描述数据的信息，可以认为是元数据，DataFrame曾经就有个名字叫SchemaRDD）。3)数据集：即数据的集合，相对于DataFrame和Dataset，RDD是Spark最底层的抽象，目前是开发者用的最多的，但逐步会转向DataFrame和Dataset（当然，这是Spark的发展趋势）调整。
2 、SparkSQL编程入口SparkSession
风中一叶
11-04 6829
1.要编写SparkSQL程序，必须通SparkSession对象 pyspark.sql.SparkSession(sparkContext, jsparkSession=None) 在spark1.x之前的版本中，SparkSQL程序的编程入口是 pyspark.sql.SQLContext(sparkContext, sparkSession=None, jsqlContext=Non...
02. PySpark3程序入口
m0_59811476的博客
04-23 462
##业务代码##停止SparkSession释放资源。
2.2 Sparkcontext编程入口1
08-04
SparkContext是PySpark编程模型的核心组件，它是与Spark集群建立连接的起点，也是...理解如何有效地使用SparkContext，包括其各种功能如创建RDD、配置参数、使用累加器和添加文件，对于编写高效的Spark程序至关重要。
Java操作Spark入门程序
10-15
2. **创建SparkSession**: 连接Spark的第一步是创建`SparkSession`，它是Spark 2.x中的主要入口点，替代了旧版的`SparkContext`。以下代码展示了如何创建一个基本的`SparkSession`： ```java SparkSession spark =...
spark_examples:Spark程序的示例测试程序
05-16
- **SparkContext**：Spark程序的入口点，用于连接到Spark集群并创建RDD。 - **Transformation和Action**：Transformation定义了数据处理逻辑，不触发计算；Action则触发计算，并返回结果到Driver端。 3. **Java ...
spark之内存计算框架.pdf
02-22
- 构建SparkContext对象：作为所有Spark程序执行的入口，它负责与Spark集群的连接和通信。 - 读取数据文件：使用SparkContext来读取存储在文件系统中的数据。数据被读取后，会以RDD（弹性分布式数据集）的形式存在...
Spark-JAVA-Study:火花程序
05-16
- **SparkContext**：Java应用中的入口点，用于创建Spark应用程序的上下文，连接到Spark集群。 3. **RDD编程**： - **创建RDD**：可以通过HDFS、HBase等数据源或者通过现有数据集转换得到。 - **RDD操作**：包括...
Spark编程入口 — AppClient接收Master注册信息补充
zlx_code的专栏
08-30 217
在之前SparkContext初始化流程图最后，AppClient通过ClientEndPoint发送注册消息给Master，Master在接收到消息之后，首先调用registerApplication，提取Application的相关信息并保存在Master节点上，接着将Application的信息使用持久化引擎进行持久化（持久化引擎常用的有两种一个是FileSystemPersistenceE...
异常解决：A master URL must be set in your configuration
热门推荐
【人工智能】王小草的博客
06-20 1万+
异常解决：A master URL must be set in your configuration
Spark源码分析-以wordcount为入口进行spark-submit源码分析
活的洒脱怪我咯的专栏
03-14 1777
1、用wordcount程序进行spark源码环境准备和程序入口 1）Standalone模式启动 启动Master，start-master.sh输出： /home/weiw/spark-1.6.3-bin-hadoop2.6/sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip ubuntu
Spark日志分析项目Demo(3)--Spark入口和DataFrame
zhi_fu的博客
09-01 1106
我们先从入口main函数说起public static void main(String[] args) { // 构建Spark上下文 SparkConf conf = new SparkConf() .setAppName(Constants.SPARK_APP_NAME_SESSION) .setMa
Spark源码学习笔记1-SparkContext
lzy2014的专栏
04-29 708
SparkContext构造函数做了哪些重要的事情？
spark中SparkContext源码解析
cclovezbf的博客
05-28 242
val conf: SparkConf = new SparkConf().setAppName("WordCount").setMaster("local[*]") val sc = new SparkContext(conf) 短短两句代码背后，到底做了多少事情？ SparkContext _env = createSparkEnv(_conf, isLocal, listenerBus) SparkEnv.set(_env) SparkEnv最后的creat...
Spark 源码阅读（3）——SparkContext创建
Tomorrow never comes
03-06 662
代码中的SparkContext在Spark应用程序的执行过程中起着主导作用，它负责与程序个Spark集群进行交互，包括申请集群资源、创建RDD、accumulators 及广播变量等。SparkContext与集群资源管理器、Worker结节点交互图如下图所示。官网对图下面几点说明： （1）不同的Spark应用程序对应该不同的Executor，这些Executor在整个应用程序执行期间都存在并且...
SparkConf和SparkContext
晚风中的自由
06-13 2677
任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。 初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。 Scala： 1 2 3 4 valconf=newSparkConf().setMaster("master").setAppName("appName") val...
SparkConf && SparkContext详解
weixin_40420525的博客
12-17 1883
官方介绍 首先我从官网介绍中知道,我们在创建spark应用程序之前 需要先创建 SparkContext对象, SparkContext,会告知 spark 如何去访问集群,要创建SparkContext您首先需要构建一个包含有关应用程序信息的SparkConf对象。 The first thing a Spark program must do is to create a SparkCont...
spark的sparkcontext是什么
05-01
SparkContext是Apache Spark中的一个核心组件，它是与Spark集群进行通信的主要入口点。SparkContext负责与集群管理器（如YARN或Mesos）通信，并协调Spark应用程序的执行。 SparkContext的主要功能包括： 1. 连接集群管理器：SparkContext会与集群管理器建立连接，以便获取资源和分配任务。 2. 创建RDD：RDD（弹性分布式数据集）是Spark中的基本数据结构，SparkContext负责创建和管理RDD。 3. 分布式计算：SparkContext提供了各种操作和转换函数，用于在分布式环境中对RDD进行计算和转换。 4. 调度任务：SparkContext将任务分解为多个阶段，并将这些阶段分配给集群中的不同节点进行执行。 5. 监控和管理：SparkContext可以监控应用程序的执行情况，并提供一些管理功能，如日志记录和错误处理。 总之，SparkContext是Spark应用程序与集群之间的桥梁，它提供了对集群资源的访问和管理，并支持分布式计算和任务调度。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值