SPARKSQL3.0-Catalog源码剖析

已于 2023-04-20 12:11:58 修改
阅读量1.3k 收藏 5
点赞数 4
分类专栏： Spark3.0-SQL内核源码剖析 文章标签： 大数据 spark hive catalog sparksql
于 2022-11-22 14:11:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35128600/article/details/127981814
版权
本文深入探讨Spark SQL 3.0中Catalog的源码，特别是针对HiveSessionCatalog的构建和功能。Catalog在Spark中负责元数据管理和资源统一管理，包括数据库、表、视图、分区和函数。关键组件如externalCatalogBuilder与HiveExternalCatalog用于与Hive元存储交互。Analyzer阶段中，ResolveTables规则利用Catalog解析表的存在及获取表信息。
摘要由CSDN通过智能技术生成

SPARKSQL3.0-Catalog源码剖析

一、前言

阅读本节需要先掌握Analyzer阶段的相关知识

在Spark SQL 系统中，Catalog 主要用于各种函数资源信息和元数据信息 （数据库、数据表数据视图、数据分区等）的统一管理。

初次看这种解释还是比较模糊，一会我们看源码就很清晰了

二、源码

首先Catalog是在SessionState类中，看过SessionState一节的话应该知道SessionState是在BaseSessionStateBuilder类中的build函数构建的：

def build()
了解本专栏 订阅专栏 解锁全文 超级会员免费看
高 亮
关注
专栏目录
订阅专栏
Spark Catalog详解
SunnyRivers
08-08 1140
旁边的实习生说：我想要用spark代码中对hive库中的内部表和外部表进行删除（包括数据），咋感觉网上搜了一圈都找不到解决方案啊，spark这么鸡肋吗？我：你应该静下心来好好把spark基础知识进行全面学习。实习生：难道spark有这功能，而我没有学习过？咋弄啊？我：学习一下Spark Catalog。实习生：啥是Catalog啊？Spark Catalog是Spark SQL中的一个元数据管理组件，它提供了一个集中化的存储和查询表、视图和函数的位置。
Spark Catalog深入理解与实战——《DEEPNOVA开发者社区》
Deepexi_Date的博客
08-17 932
CatalogManager维护了所有Catalog实例的键值对信息，能够根据catalog名称返回对应的Catalog实例，其中有一个固定的名字叫spark_catalog，用于当前默认的Catalog实例实现，该示例就是V2SessionCatalog，它代理了普通的SessionCatalog，因此，在使用时，即使什么Catalog都不注册，Spark也会根据默认的Catalog实例加载Hive数据源。上面介绍了Spark Iceberg对多类型Catalog的支持，下一步自然要问，这有什么用？...
SparkSQL Catalog
qq_15300683的博客
06-10 815
http://spark.apache.org/docs/latest/sql-programming-guide.html# Catalog interface for Spark. To access this, use `SparkSession.catalog`.Spark的目录界面。 要访问这个，使用`SparkSession.catalog`。val catalog = spark.c...
SparkSQL之Catelog体系
RainTicking的博客
11-12 405
本质上，SessionCatalog起到了一个代理的作用，对底层的元数据信息、临时表信息、视图信息和函数信息进行了封装。如上图所示，SessionCatalog的构造参数包括6部分，除传入Spark SQL和Hadoop配置信息的CatalystConf与Configuration外，还涉及以下4个方面的内容。在关系数据库中，Catalog是一个宽泛的概念，通常可以理解为一个容器或数据库对象命名空间中的一个层次，主要用来解决命名冲突等问题。
Spark3中Catalog组件设计和自定义扩展Catalog实现
半日闲的博客
04-06 5233
文章目录Spark 3 中Catalog组件设计catalog管理类继承关系Catalog 初始化过程测试自定义Catalog编译和打包测试类切换catalog测试 Spark 3 中Catalog组件设计 catalog管理类继承关系 在Spark 3中，我们可以轻松的对内置的访问Hive metastore 的catalog进行自定义功能扩展。我们先梳理一下整个系统实现的类设计，以及catalog的初始化流程 Delta 是 Databrick 提供的一种扩展的文件存储格式，同时也提供了相关的SQL开发
Spark SQL之Catalog API介绍和使用
曹利荣的博客
07-14 4508
《Spark 2.0技术预览：更容易、更快速、更智能》文章中简单地介绍了Spark 2.0带来的新技术等。Spark 2.0是Apache Spark的下一个主要版本。此版本在架构抽象、API以及平台的类库方面带来了很大的变化，为该框架明年的发展奠定了方向，所以了解Spark 2.0的一些特性对我们能够使用它有着非常重要的作用。本博客将对Spark 2.0进行一序列的介绍（参见Spark 2.0分...
SPARKSQL3.0-源码剖析全流程导读
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1285
SPARKSQL3.0-源码剖析全流程导读
SPARKSQL3.0-Analyzer阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-21 1038
SPARKSQL3.0-Analyzer阶段源码剖析
SPARKSQL3.0-SessionState构建源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-21 878
SPARKSQL3.0-SessionState构建源码剖析
SPARKSQL3.0-Optimizer阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1012
SPARKSQL3.0-Optimizer阶段源码剖析
SparkSQL Catalog的作用和访问Hive元数据信息
qq_43688472的博客
01-15 5219
SparkSQL Catalog的作用： SparkSQL直接访问hive元数据信息，不再需要去mysql里的表里去查找 Spark 2.0中添加了标准的API（称为catalog）来访问Spark SQL中的元数据。这个API既可以操作Spark SQL，也可以操作Hive元数据。 代码操作： package g5.learning import org.apache.spark.sql.Sp...
如何用Spark SQL实现多Catalog联邦查询
None
03-18 1895
目前对多Catalog的支持俨然成为计算引擎的标配，因为在OLAP场景，跨数据源的联合查询是一大刚需。但是，传统的计算引擎如Hive、Spark2对多Catalog支持能力很弱，也许是受Flink、Presto（Trino）的步步紧逼，Hive3也开始支持多Catalog，但是仅限于存储层面和API层面，还没有推进到SQL层。Spark相比Hive要进展好得多，在多Catalog的实现方式上甚至成...
SparkSQL JDBC连接
糊里糊涂走进大数据的小菜鸡
01-06 3441
SparkSQL JDBC连接 文章目录SparkSQL JDBC连接1、开启hive元数据服务 1、开启hive元数据服务 nohup hive --service metastore >> metastore.log 2>&1 & 2、开启spark jdbc 服务 cd /usr/local/soft/spark-2.4.5/sbin/ ./start-thriftserver.sh --master yarn-client 3、在命令行中访问 cd /usr/l
catalog.sql和catproc.sql
weixin_33688840的博客
12-01 697
catalog是用来创建数据库的数据字典文件的,catproc是用来创建数据库的基本过程和包的。Ps：如果没有运行catalog.sql我们就无法执行哪怕是select * from tab这样的语句了。如果没有运行catproc.sql我们就不能使用诸如substr()这样的函数。 转载于:https://blog.51cto.com/qieshe/1334512...
spark SQL之Catalog API使用
weixin_30369041的博客
01-17 246
Catalog API简介 Spark中的DataSet和Dataframe API支持结构化分析。结构化分析的一个重要的方面是管理元数据。这些元数据可能是一些临时元数据（比如临时表）、SQLContext上注册的UDF以及持久化的元数据（比如Hivemeta store或者HCatalog）。 Spark的早期版本是没有标准的API来访问这些元数据的。用户通常使用查询语句（比如sho...
SparkSQL04 sparksql优化 catalog
weixin_43866666的博客
03-10 225
SparkSQL04 sparksql优化 1. catalog 访问元数据信息 val catalog = spark.catalog catalog.listDatabases().show catalog.listTables("test").show catalog.listTables("test").filter(_.name.contains("access")).show(false) catalog.listFunctions("default").show(true) spark.
一篇文章了解 Spark 3.x 的 Catalog 体系
Shockang的博客
02-21 4760
前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据技术体系 关于数据库的一些基本概念 Schema（模式） 数据库 Schema 有两种含义。 一种是概念上的 Schema，指的是一组 DDL 语句集，该语句集完整地描述了数据库的结构。 还有一种是物理上的 Schema，指的是数据库中的一个名字空间，它包含一组表、视图和存储过程等命名对象。 物理 Schema 可以通过标准SQL语句来创建、更新和修改。
初探Spark SQL catalog缓存机制
最新发布
archimekai的博客
01-10 636
进一步对Spark SQL的报错进行分析，可见报错点是在org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD.compute(JDBCRDD.scala:320)。从代码中可见，Spark直接使用catalog中缓存的表结构拼接SQL语句下发，直到SQL语句真正被pg执行时，才识别到c1这一列已经不存在的错误。先说结论：Spark SQL catalog中对表结构的缓存一般不会自动更新。
SparkSQL源码解析：核心执行流程探究
"SparkSQL源码分析之核心流程" SparkSQL是Apache Spark项目中的一个模块，主要目的是为了提供SQL查询支持，让开发人员能够通过SQL语言与Spark交互，处理大规模数据。SparkSQL通过Catalyst优化器实现了高效的数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

高 亮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值