--- Spark学习（柒）- Spark SQL扩展和总结

最新推荐文章于 2024-05-05 14:12:43 发布
最新推荐文章于 2024-05-05 14:12:43 发布
阅读量989 收藏 3
点赞数 1
分类专栏： Spark学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bingdianone/article/details/84791251
版权
本文深入探讨Spark SQL的使用场景，包括文件查询、实时流分析、ETL操作和数据库交互。详细阐述了其工作原理，如SQL解析、Analyzer、Optimizer和Planner。介绍了DataFrame与SQL的对比，强调DataFrame的Catalyst优化和schema处理。讨论了加载数据的方法，包括从RDD、本地和云端。此外，文章还涉及处理复杂JSON数据、SQL覆盖程度及外部数据源的连接。
摘要由CSDN通过智能技术生成

文章目录

Spark SQL使用场景

  • 文件中数据的特殊查询（即席查询；即席查询是可以进行特殊的字段查询自定义的查询；普通查询就是别人已经定义好的查询方式）
  • 实时SQL分析流数据
  • 可以进行ETL操作
  • 与外部数据库的交互
  • 具有更大集群的可伸缩查询性能

Spark SQL 原理

在这里插入图片描述
求大于18岁的同学总成绩平均分

原理
在这里插入图片描述
SQL Parser
在这里插入图片描述

SQL Analyzer

  1. 经过Parser之后的LogicalPlan并不知道如何执行
  2. 需要绑定不确定的属性和关系
  • 解析表名
    • 临时表
    • 临时view
    • hive table
    • hive view
  • 解析具体的schema结构
    • 字段类型
    • 存储位置
      在这里插入图片描述

SQL Optimizer

在这里插入图片描述

SQL Optimizer 谓词下推

在这里插入图片描述

SQL Optimizer 列值裁剪

在这里插入图片描述

SQL Planner

在这里插入图片描述

Spark SQL加载数据

  • 直接将数据加载到一个DataFrame中
  • 将数据加载到RDD并进行转换
  • 可以从本地和云端加载数据

启动一个spark-shell
在这里插入图片描述

1) RDD DataFrame/Dataset

用本地spark的启动日志来进行测试

//将数据加载成RDD
val masterLog = sc.textFile("file:///home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-hadoop001.out")
val workerLog = sc.textFile("file:///home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-hadoop001.out&#
最低0.47元/天 解锁文章
-无妄-
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Spark】扩展Spark Catalyst，打造自定义的Spark SQL引擎
九师兄
05-14 1422
1.概述 转载自：扩展Spark Catalyst，打造自定义的Spark SQL引擎 Apache Spark是大数据处理领域最常用的计算引擎之一，被应用在各种各样的场景中，除了易用的API，稳定高效的处理引擎，可扩展性也是Spark能够得到广泛应用的一个重要原因。Spark中最常见的扩展就是基于DataSource API添加对新数据源的支持，除了Spark内置的HDFS，S3，Kafka等数据源，Parquet，Orc，Avro等数据类型，还有很多第三方的DataSource Plugin使得Spa.
SPARKSQL3.0-各阶段自定义扩展规则源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1141
SPARKSQL3.0-各阶段自定义扩展规则源码剖析
Spark3性能调优（二）---数据倾斜
番茄薯仔
05-12 405
本篇文章是Spark3性能调优系列文章之：Spark3性能调优（二）---数据倾斜，是本人的学习笔记系列文章其一。详细讲了“数据倾斜”方面的原理和实验流程，可为Spark初学者展现一定的Spark调优技巧。
利用Apache Spark SQL和DataFrames扩展关系数据库
测试0901-1
05-13 196
无论怎样大肆宣传NoSQL数据库的出现，关系数据库都还将继续存在。原因很简单，关系数据库强制执行基本的结构和约束，并提供了很好的声明式语言来查询数据（我们都喜欢它）：SQL！\n但是，规模一直是关系数据库的问题。21世纪的大多数企业都拥有丰富的数据存储和仓库，并希望最大限度地利用大数据来获得可操作的洞见。关系数据库可能很受欢迎，但除非我们投资了适当的大数据管理策略，否则不能很好地对它们进行扩展。这...
2024年大数据最新通过扩展 Spark SQL ，打造自己的大数据分析引擎(1)，2024年最新相关资料参考
最新发布
2401_84160087的博客
05-05 693
接下来，我们来扩展优化器，砖厂提供了很多默认的RBO，这里可以方便的构建我们自己的优化规则，本例中我们构建一套比较奇怪的规则，而且是完全不等价的，这里只是为了说明。(img-hl1RWR09-1714889511960)](img-i25S5CWZ-1714889511961)](img-wMwJMfBq-1714889511961)]左边，则直接将字段变成右表达式，即。下面是执行结果，符合我们的预期。接下来，我们测试一下。
如何扩展Spark Catalyst,抓取spark sql 语句，通过listenerBus发送sql event以及编写自定义的Spark SQL引擎
11-08 851
我们可以实现特定的SQL方言，针对特殊的数据源做更深入的优化，进行SQL规范检查，针对特定执行环境制定特定的优化策略等等。Spark Catalyst的SQL处理分成parser，analyzer，optimizer以及planner等多个步骤，其中analyzer，optimizer等步骤内部也分为多个阶段，以Analyzer为例，analyse规则切分到不同的batch中，每个batch的执行策略可能不尽相同，有的只会执行一遍，有的会迭代执行直到满足一定条件。并且引入如下maven plugin。
Spark-SQL学习笔记_总结和拓展
weixin_40845957的博客
12-11 253
一、Spark-SQL应用场景 1.数据文件即席查询 Ad-hoc     普通查询:定制化查询 2.对流数据文件采用SQL分析   Spark-Streaming+Spark-SQL 3.使用SQL完成ETL开发   1> 格式转换  ==>列式存储 parquet/json==>parquet   2> 日志数据清洗,把日志一部分内容抽取出来做分析统计  ...
mastring-spark-sql
05-27
通过定义用户定义函数（UDFs），开发者可以扩展Spark SQL内建函数的库，实现自定义的计算逻辑。UDFs是封装为黑盒函数，除非必要，否则不建议大量使用，因为它们可能会影响性能。 用户定义聚合函数（UDAFs）是为类型...
spark-2.4.0-bin-hadoop2.7.rar
05-28
Spark 2.4.0是Apache Spark的一个重要版本，它是一个快速、通用且可扩展的大数据处理框架。这个版本在2.3的基础上进行了多方面的优化和功能增强，旨在提高数据处理效率，支持更多数据源，并提供了更丰富的数据分析...
Spark DataFrame
03-07
详细介绍了基于RDD的DataFrame数据结构以及操作接口。
spark-2.1.1-bin-hadoop2.7
09-11
Spark的核心特性包括弹性分布式数据集（Resilient Distributed Datasets, RDD）、Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图处理）。RDD提供了容错的数据抽象，Spark SQL支持SQL查询和DataFrame...
haddop\scala\spark\winutils-master安装包
10-14
`spark-2.4.7-bin-hadoop2.tgz` 包含了Spark的2.4.7版本，预编译为与Hadoop 2.x兼容，包含了Spark的所有核心模块，如Spark Core、Spark SQL、Spark Streaming和MLlib（机器学习库）等。 **WinUtils** 在Windows环境...
spark sql（二）sql解析流程扩展
Interest1_wyt的博客
03-04 878
spark sql大体在四个阶段提供了扩展能力，分别是未解析的逻辑计划、解析后的逻辑计划、优化后的逻辑计划、物理计划。在这四个阶段后面我们都可以引入自己的处理逻辑。
2021-05-26
weixin_39891166的博客
05-26 372
saprk自定义spark sql 校验 Java版概念及核心Spark Catalyst扩展点SparkSessionExtensions新增自定义规则配置自定义规则代码片 概念及核心 Spark Catalyst扩展点 Spark catalyst的扩展点在SPARK-18127中被引入，Spark用户可以在SQL处理的各个阶段扩展自定义实现，非常强大高效，下面我们具体看看其提供的接口和在Spark中的实现。 SparkSessionExtensions SparkSessionExtensions保存
使用 spark sql extensions 实现 skew join
偷闲小苑
03-12 2350
文章目录背景实现方式原理用法语法编译&配置Test局限性参考 背景 使用 Join 时，如果出现数据倾斜就会导致OOM或者单task长时间执行的现象，如果是大小表关联的场景，还可以使用 MAPJOIN 的方式来解决，如果遇到两张大表目前还没有比较好的解决方案。 实现方式 使用spark sql extensions 的扩展功能，增加自定义 hint 在 sql parser 层对相关逻辑进...
Spark SQL 如何自定义扩展？
Shockang的博客
03-26 2422
前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据技术体系 关联 Spark SQL 工作流程源码解析（一）总览（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（四）optimization
Sparksql实战 - 用户行为日志
李玉坤的博客
12-15 6992
用户行为日志概述 用户行为日志：用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击…） 用户行为轨迹、流量日志 典型的日志来源于Nginx和Ajax 日志数据内容： 1）访问的系统属性： 操作系统、浏览器等等 2）访问特征：点击的url、从哪个url跳转过来的(referer)、页面上的停留时间等 3）访问信息：session_id、访问ip(访问城市)等 比如 2013-05-19 13:...
spark-sql字段血缘
09-28
Spark SQL允许用户对SQL解析、逻辑计划分析和检查、逻辑计划优化、物理计划形成等进行扩展，而且扩展的代价相对较小。通过这些组件的处理，Spark SQL可以跟踪和记录数据源之间的依赖关系，从而实现字段血缘的功能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值