SPARKSQL3.0-SessionState构建源码剖析

已于 2023-04-20 12:12:47 修改
阅读量894 收藏 2
点赞数 2
分类专栏： Spark3.0-SQL内核源码剖析 文章标签： spark 大数据 scala sparksql sql
于 2022-11-21 16:23:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35128600/article/details/127967310
版权
Apache Spark 2.0 的 SparkSession 提供了统一的入口使用Spark功能，包括DataFrame和Dataset API。本文深入探讨SparkSession的SessionState构建过程，通过getOrCreate函数创建SessionState，并分析了SessionState中包含的执行阶段关键类，如HiveSessionStateBuilder和SessionStateBuilder，以及它们如何通过BaseSessionStateBuilder构建。SessionState的重要性和其在SparkSQL执行过程中的作用是本文的重点。
摘要由CSDN通过智能技术生成

一、介绍

Apache Spark 2.0引入了SparkSession，其目的是为用户提供了一个统一的切入点来使用Spark的各项功能，不再需要显式地创建SparkConf, SparkContext 以及 SQLContext，因为这些对象已经封装在SparkSession中。此外SparkSession允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序。

那么在sparkSql模块中，sql各个阶段的解析的核心类则是SessionState，在后续的文章中会多次使用到SessionState的变量，故本节将介绍SessionState是如何构建的

二、构建过程

常见构建sparkSession写法：

// TODO 创建SparkSQL的运行环境
val sparkConf = new SparkConf(
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Light Gao
关注
专栏目录
订阅专栏
SPARKSQL3.0-源码剖析全流程导读
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1312
SPARKSQL3.0-源码剖析全流程导读
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 970
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析
session-spark:session分析
04-28
session-spark 集运spark的session分析
Spark源码阅读之SparkSession
LMR的博客
04-07 7871
spark从1.6之后一直以SparkSession作为用户编程的主要api，本文主要是记录自己SparkSession源码阅读过程，没有过多注释，方便后期查阅。 /** * The entry point to programming Spark with the Dataset and DataFrame API. * 使用Dataset和DataFrame API编程Spark的...
SparkSession解析SessionCatalog、SharedState和SessionState
qq_41775852的博客
03-28 3644
文章目录CatalogSessionCatalogSessionCatalogHiveSessionCatalogExternalCatalogInMemoryCatalogHiveExternalCatalogSparkSession初始化SharedStateSessionStateBaseSessionStateBuilderSessionStateBuilder和HiveSessionSt...
Spark源码解析（五）初始化SparkSession
Yuan_CSDF的博客
05-11 517
1.client向master注册 在ClientEndpoint启动成功后，会想master注册APP消息。在StandaloneAppClient的onStart()方法中执行registerWithMaster(1)-->registerMasterFutures.set(tryRegisterAllMasters())。在tryRegisterAllMasters方法中内部使用Endpoint进行注册通信。当Master接收到消息。如下代码，核心代码为 schedule()。 /**..
【spark】SparkSession的API
weixin_30415113的博客
05-18 453
SparkSession是一个比较重要的类，它的功能的实现，肯定包含比较多的函数，这里介绍下它包含哪些函数。 builder函数public static SparkSession.Builder builder()创建 SparkSession.Builder，初始化SparkSession.setActiveSession函数public static void setActiveSessi...
SPARKSQL3.0-Catalog源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1322
SPARKSQL3.0-Catalog源码剖析
SPARKSQL3.0-Unresolved[Parsed]阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-21 891
SPARKSQL3.0-Unresolved[Parsed]阶段源码剖析
Spark | 基于源码解析SparkSession初始化过程
俗人
06-28 3760
Spark.version: 2.4.4 Apache Spark 2.0引入了SparkSession，其为用户提供了一个统一的切入点来使用Spark的各项功能，例如不再需要显式地创建SparkConf, SparkContext 以及 SQLContext，因为这些对象已经封装在SparkSession中。另外SparkSession允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序。 其次SparkSession通过生成器设计模式(Builder Design Pa
Spark 源码（7） - SparkContext 初始化 源码分析
天道酬勤
11-26 1113
一、SparkContext 初始化 上次阅读到 Master 通知 Worker 启动了一个 Driver，就是启动了一个 JVM，并且开始使用反射的方式执行 DriverWrapper 的 main 方法。 假设我们提交了一个 JavaWordCount 程序到集群上，其实接下来就开始执行这个方法： 然后开始创建 SparkContext SparkSession spark = SparkSession.builder().appName("JavaWordCount").getOrCreate()
使用SparkSession相关问题
hsz_zl的博客
12-05 1万+
Scala的版本问题 开始用的Scala版本是2.10.4，总是报错（org.apache.spark.sql.SparkSession中的方法找不到），换成了2.11.8后就可以用了 Spark版本问题 跟Scala中的版本问题一样，之前用的Spark的版本都是2.10的1.6.x的版本，找不到SparkSession，SparkSession好像在2.X中才有这个组件，将版本换成了2.11
Spark 3.0 中七个必须知道的 SQL 性能优化
澎湖Java架构师的博客
07-28 746
本文提纲如下0. 前言1. 单数据源事务 & 多数据源事务2. 常见分布式事务解决方案2.1. 分布式事务模型2.2. 二将军问题和幂等性2.3. 两阶段提交（2PC） & 三阶段提交（3PC）方案2.4. TCC 方案2.5. 事务状态表方案2.6. 基于消息中间件的最终一致性事务方案3. Seata in AT mode 的实现3.1. Seata in AT mode 工作流程概述3.2. Seata in AT mode 工作流程详述4. 结束语从 CPU 到内存、到磁盘、到操作系统、到网络，计算机
Spark 3.0中 Spark SQL优化
不忘初欣丶的博客
04-08 811
spark 3.0 新特性
spark sql（一）源码分析sql解析流程
Interest1_wyt的博客
03-04 1607
spark sql解析sql主要基于Catalyst框架，它将复杂的sql解析分为很多的阶段，如未解析的逻辑计划、解析后的逻辑计划、优化后的计划、物理计划等阶段，且每个阶段都有专门的工具类进行处理。
SparkSQL代码整理(完整版)
m0_47489229的博客
09-13 1252
...
【Spark】 SparkSession与SparkContext
热门推荐
sunwenxu的博客
08-01 1万+
文章开始先让我们看一张图： 从图中我们可以大概看出SparkSession与SparkContext的关系了 SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。  在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和...
Pyspark学习笔记（三）--- SparkContext 与 SparkSession
朝花&夕拾
06-25 7184
Pyspark学习笔记（三）— SparkContext 与 SparkSession 文章目录Pyspark学习笔记（三）--- SparkContext 与 SparkSession一、什么是SparkContext？二、什么是 SparkSession三、SparkSession 常用方法 一、什么是SparkContext？ SparkContext 从 Spark 1.x（JavaSparkContext for Java）开始可用，在 2.0 中引入 SparkSession 之前，它被用
SparkSession 相关类
初阳
10-15 885
文章目录1. SparkSession相关类1.1. DataType1.2. Metadata1.3. StructType与StructField1.3.1. StructField类定义1.3.2. StructType类定义1.4. 数据源DataSource1.4.1. DataSource详解1.4.2. DataSourceRegister详解1.5. 数据集合DataSet1.5.1. 属性和方法1.6. DataFrameReader详解1.6.1. 属性和方法1.7. SparkSess
pip install streamlit-SessionState时报错Could not find a version that satisfies the requirement streamlit-SessionState (from versions: none)，如何解决
最新发布
05-25
这个错误提示表明没有找到名为 streamlit-SessionState 的软件包，可能是因为该软件包不存在或者您的 pip 版本过旧。 请尝试使用以下命令更新 pip： ``` pip install --upgrade pip ``` 然后再尝试安装 streamlit-SessionState： ``` pip install streamlit-SessionState ``` 如果仍然无法安装，请确保软件包名称正确，并且该软件包已在 PyPI 上注册。您还可以尝试从 GitHub 克隆该软件包并手动安装。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Light Gao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值