---Spark学习（贰）- Spark SQL概述

最新推荐文章于 2022-11-28 18:58:17 发布
最新推荐文章于 2022-11-28 18:58:17 发布
阅读量320 收藏 1
点赞数
分类专栏： Spark学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bingdianone/article/details/84134868
版权
本文详细介绍了Spark SQL的发展历程，包括其作为Hive on Spark的替代品Shark的演进，以及Spark SQL如何支持SQL和DataFrame/Dataset API，实现与多种数据源的统一访问。文章探讨了Spark SQL的架构，强调了Catalyst优化器的作用，并阐述了Spark SQL的愿景，如减少代码量、提高执行速度和读取数据的效率。此外，还涵盖了模式推导、分区发现和查询优化策略，展示如何利用Spark SQL提升大数据处理性能。
摘要由CSDN通过智能技术生成

文章目录

Spark SQL前世今生

为什么需要SQL

  1. 事实上的标准-关系型数据库已经存在多年，sql的应用对于大数据开发人员很方便
  2. 易学易用-SQL的门槛比较低，几天就可上手
  3. 受众面大

Shark

(Shark已经停止维护；不建议生产使用)

  1. Hive on Spark
    Hive: 类似于sql的Hive QL语言， sql==>mapreduce
    　特点：mapreduce
    　改进：hive on tez、hive on spark、hive on mapreduce
  2. Shark特性
    Spark: hive on spark ==> shark(hive on spark)
    　shark推出：欢迎， 基于spark、基于内存的列式存储、与hive能够兼容
    　缺点：hive ql的解析、逻辑执行计划生成、执行计划的优化是依赖于hive的，仅仅只是把物理执行计划从mr作业替换成spark作业
  3. 缺点
    Shark终止（2014-7）
    在这里插入图片描述
    Shark终止以后，产生了2个分支：
    1）hive on spark
    Hive社区，源码是在Hive中
    2）Spark SQL
    Spark社区，源码是在Spark中
    支持多种数据源，多种优化技术，扩展性好很多

SQL on Hadoop常用框架

  1. Hive
    sql ==> mapreduce
    metastore ： 元数据
    sql：database、table、view
    facebook开源
  2. impala
    cloudera ： cdh（建议大家在生产上使用的hadoop系列版本）、cm
    sql：自己的守护进程执行的，非mr
    基于内存(metastore)运行
  3. presto
    facebook开源
    京东
    sql
    基于内存(metastore)运行
  4. drill
    sql
    直接访问：hdfs、rdbms、json、hbase、mongodb、s3、hive
  5. Spark SQL
    sql
    dataframe/dataset api
    metastore
    访问：hdfs、rdbms、json、hbase、mongodb、s3、hive ==> 外部数据源

Spark SQL概述

官网翻译：

Spark SQL是Apache Spark用于处理结构化数据的模块。

  • 集成

results = spark.sql(
“SELECT * FROM people”)
names = results.map(lambda p: p.name)

将SQL查询与Spark程序无缝混合。
Spark SQL允许您使用SQL或熟悉的DataFrame API在Spark程序中查询结构化数据。可用于Java、Scala、Python和R。

  • 统一数据访问

spark.read.json(“s3n://…”)
.registerTempTable(“json”)
results = spark.sql(
“”“SELECT *
FROM people
JOIN json …”"")

以相同方式连接到任何数据源。
DataFrames和SQL提供了访问各种数据源的常用方法，包括Hive，Avro，Parquet，ORC，JSON和JDBC。您甚至可以跨这些来源加入数据。

  • Hive集成
    在这里插入图片描述
    在现有仓库上运行SQL或HiveQL查询。
    Spark SQL支持HiveQL语法以及Hive SerDes和UDF，允许您访问现有的Hive仓库。
  • 标准连接
    在这里插入图片描述
    通过JDBC或ODBC连接。
    服务器模式为商业智能工具提供行业标准JDBC和ODBC连接。

个人总结:

有见到SQL字样吗？
Spark SQL它不仅仅有访问或者操作SQL的功能，还提供了其他的非常丰富的操作：外部数据源、优化

  1. Spark1.0(2014年4月)以来的部分核心发行版
    下图是Spark SQL参与开发（左图）和提交次数统计（右图）
    在这里插入图片描述
    Spark从1.3从Alpha版本毕业；正式投入生产环境使用
    （Alpha版本的框架不建议在生产环境使用；因为还未成熟）

  2. 运行SQL/Hive QL查询，包括UDFs UDAFs和SerDes
    在这里插入图片描述

  3. Spark通过JDBC连接现有的BI工具
    在这里插入图片描述

  4. 支持Python，Scaka，Java，R
    在这里插入图片描述

Spark SQL概述小结：
1）Spark SQL的应用并不局限于SQL；
2）访问hive、json、parquet等文件的数据；
3）SQL只是Spark SQL的一个功能而已；===> Spark SQL这个名字起的并不恰当
4）Spark SQL提供了SQL的api、DataFrame和Dataset的API；

Spark SQL架构

在这里插入图片描述
只要是基于SQL，它的大概流程都是上图所示
上图翻译：
可大致分为三部分： 前端，催化剂（Catalyst），后端

  • 前端：可以有不同种的访问方式；典型的Hive，其他的Spark应用程序，流和SQL的综合使用。
  • 催化剂（Catalyst）：前端的东西过来后并不会直接生成执行计划，和metastore 中的Schema表信息进行整合生成最原始的逻辑执行计划，然后通过各种优化生成优化后的逻辑执行计划。
  • 后端：进入物理执行计划（Spark作业），然后运行
    在这里插入图片描述

Spark SQL愿景

写更少的代码

代码量和可读性

Hadoop的Mapreduce VS spark的RDD
在这里插入图片描述
RDD VS DataFrames
在这里插入图片描述

统一访问操作接口

统一接口，以各种格式读写数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Spark ETL使用自定义数据源案例（加载JIRA数据源）
在这里插入图片描述

强有力的API支持

使用DataFrame函数简洁地解决常见问题:
A.选择所需列
B.连接不同的数据源
C.汇总(计数、总和、平均等)
d .过滤
E. …
使用API建议到源码中去查询

Schema推导

模式推理:
A. 大数据往往很脏（需要进行处理；把脏数据剔除）
B. 从半结构化数据(即JSON)推断模式
C. 合并模式的不同但兼容的版本(例如JSON，Parquet)
（json格式对于存储和传输都是有一定的开销的；建议转换为列式存储结构比如Parquet）

推导示例：
在这里插入图片描述

Schema Merge

转向官方链接（因为比较耗性能这个功能是默认关闭的）：
http://spark.apache.org/docs/latest/sql-data-sources-parquet.html#schema-merging

Partition Discovery

自动分区发现(Parquet)
A. 发现hive式分区表目录布局
B. 从分区目录路径推断分区列类型和值
转向官方链接
http://spark.apache.org/docs/latest/sql-data-sources-parquet.html#partition-discovery

执行速度更快

在这里插入图片描述

  • 为什么Python RDD慢？
    因为Python的VM和JVM需要大量数据的跨越进程交换，所以最慢。

  • 为什么SQL,R,python,Scala的DataFrame操作速度都是一样的？
    是因为DataFrame仅仅是封装的一个逻辑执行计划，然后这个逻辑执行计划交由SparkSQL的Catalyst来完成做各种优化。

  • 为什么RDD的API要比DataFrame慢？
    因为RDD是行数式的，而且它强调性的是不可变性。在大部分情况下它都是创建一个新对象而不是去修改一个老对象，所以就导致Spark应用程序创建很多个对象，GC压力大，性能差。
    DataFrame的原则是尽可能使用已有对象。虽然打破了不可变性，但是再将数据返回给用户的时候它还会转成不可变的对象。

SparkSQL愿景之二读取更少的数据

处理大数据的最快方式就是忽略它;
Spark SQL可以帮助您自动读取更少的数据:

  1. 使用columnar formats【列式存储】(比如parquet)-==使用的时候仅仅去扫描需要的列。
  2. 使用partitioning pruning【分区裁剪】(比如/year=2014/month=02/…)仅仅会去查询02月份的数据，忽略不需要的数据。
  3. 底层有最小/最大统计数据的统计，这些存在了一个索引里。当我们发送查询的时候，索引已有结果的查询就会直接给出答案，跳过了数据和查询逻辑。
  4. 将predicates【条件】下压到数据源，从数据源端就过滤掉不需要的数据。（谓词下压）（比如JDBC）
  5. 节省了空间
    A. 特定类型编码
    B. 柱状布局压缩效果更好
  6. 使更好的扫描
    A. 只加载需要访问的列;
    B. 将IO限制为实际需要的数据
    行式存储与列式存储
    在这里插入图片描述

SparkSQL愿景之三让查询优化器帮助我们优化执行效率

让优化器做艰苦的工作

案例一
在这里插入图片描述
优化器如何对上图代码进行优化的？
见下图所示：
在这里插入图片描述
左图：数据全部加载
中图：只加载需要的列，但是所有年份的列都加载了
右图：只加载2015的所需要的列

案例二
在这里插入图片描述
优化器如何对上图代码进行优化的？
见下图所示：
在这里插入图片描述
左图：最原始的逻辑执行计划，数据全部做join
中图：将event过滤后再与users进行join操作
右图：谓词下压，列裁剪，将条件下压源数据中，读取的时候就已经过滤，然后在进行join操作。

DataFrame内部
在这里插入图片描述
A. 内部表示为“逻辑计划”
B. 执行是惰性的，允许催化剂(Catalyst)对其进行优化
DataFrames和SQL共享同一个优化/执行管道

总结

SparkSQL更快地创建和运行Spark程序
A.编写更少的代码
B.读取更少的数据
C.让优化器做艰苦的工作
【为了达成这三点1.3提出了DataFrame】

-无妄-
关注
专栏目录
SparkCore / SparkSQL中窗口函数RANK, DENSE_RANK, ROW_NUMBER的区别
weixin_42379136的博客
01-28 3915
RANK， DENSE_RANK， ROW_NUMBER都是把表中的行按分区内的排序标上序号，但有一点差别： RANK：可以生成不连续的序号，比如按分数排序，第一第二都是100分，第三名98分，那第一第二就会显示序号1，第三名显示序号3。 DENSE_RANK： 生成连续的序号，在上一例子中，第一第二并列显示序号1，第三名会显示序号2。 ROW_NUMBER: 顾名思义就是行的数值，在上一例...
Spark SQL 使用示例
通往神秘的道路的专栏
08-24 1214
1、Spark SQL 1.1、Spark SQL概述 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 Hive它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的...
oracle中rank() over, dense_rank(), row_number() 的区别
技术人生
04-16 1万+
假设现在有一张学生表student，学生表中有姓名、分数、课程编号，现在我需要按照课程对学生的成绩进行排序。 select * from student 1. rank over ()可以实现对学生排名，特点是成绩相同的两名是并列，如下1 2 2 4 5 2. dense_rank()和rank over()很像，但学生成绩并列后并不会空出并列所占的名次，如下1 2 2
Spark SQL-概述
星星的博客
11-20 1万+
1.什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 对比Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以...
spark-sql on yarn 、spark-shell on yarn 详解
wang2leee的博客
08-04 3935
关键字：spark-shell on yarn、spark-sql on yarn 前面的文章《Spark On Yarn：提交Spark应用程序到Yarn》介绍了将Spark应用程序提交到Yarn上运行。有时候在做开发测试的时候，需要使用spark-shell和spark-sql命令行，除了Local和Spark standalone模式，spark-shell和spark-sql也可以...
Spark学习（6）-Spark SQL
一个人的江湖
11-28 3119
在RDD阶段，程序的执行入口对象是：。在Spark 2.0后，推出了对象，作为Spark编码的统一入口对象。用于SparkSQL编程作为入口对象。用于SparkCore编程，可以通过SparkSession对象中获取到。所以，后续执行环境入口对象，统一变更为SparkSession对象。2.4 SparkSession对象。
Java-Spark系列5-Spark SQL介绍
只是甲的博客
09-26 2万+
文章目录一.Spark SQL的概述1.1 Spark SQL 来源1.2 从代码看Spark SQL的特点1.3 从代码运行速度看来看Spark SQL二.Spark SQL数据抽象2.1 DataFrame2.2 Dataset三.Spark SQL 操作数据库3.1 Spark SQL操作Hive数据库3.1.1 创建DataFrames3.1.2 以编程方式运行SQL查询3.2 Spark SQL操作MySQL数据库参考: 一.Spark SQL的概述 1.1 Spark SQL 来源 Hive是目
Spark-SQL解析
lisenyeahyeah的博客
10-30 5505
Spark-SQL解析 如下图所示，Spark-SQL解析总体分为以下几个步骤：解析（Parser）、分析（Analysis）、优化（Optimization）、执行（Physical）、生成RDD（RDDs）。接下来，我们先介绍解析和分析两部分，对于逻辑计划的优化和物理执行计划以及生成RDD后面再专门介绍。
Java-Spark系列6-Spark SQL编程实战
只是甲的博客
09-26 2万+
文章目录一.Spark DataFrame概述1.1 创建DataFrame1.1.1 通过json文件创建DataFrame1.1.2 通过CSV文件创建DataFrame1.1.3 通过hive table创建DataFrame1.1.4 通过jdbc数据源创建DataFrame二.Spark SQL实战2.1 DataFrame的统计信息2.2 DataFrame的select操作2.3 DataFrame对列的操作2.3 过滤数据2.4 简单的聚合操作2.4.1 简单聚合2.5 自定义函数2.6 表
Java-Spark系列1-spark概述
热门推荐
只是甲的博客
09-22 2万+
文章目录一.大数据技术栈二.Spark概述2.1 MapReduce框架局限性2.2 Hadoop生态圈中的各种框架2.3 Spark2.3.1 Spark的优势2.3.2 Spark特点2.3.3 SPRAK 2 新特性 一.大数据技术栈 如下图，当前的一个大数据技术栈: 如上所示: 数据采集，一般通过Sqoop或Flume将关系型数据库数据同步到hadoop平台。 底层存储，采集到的数据存储在hdfs上，分布式进行存储。 资源调度，hadoop的资源调度就是yarn，用来协调各个集群节点的资源。 底
Spark学习总结-入门.rar_Spark!_spark_spark入门_大数据 spark
09-24
- **Spark SQL**：Spark的SQL模块，支持SQL查询和DataFrame/Dataset API，使得SQL与Scala/Java/Python API无缝对接。 - **Spark Streaming**：处理实时数据流，通过微批处理实现高吞吐量和低延迟的数据处理。 - *...
spark-assembly-1.5.2-hadoop2.6.0.jar
12-21
它支持批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark Streaming）以及机器学习算法（通过MLlib）等多种计算模式。 2. Spark-assembly.jar的构成： Spark-assembly-1.5.2-hadoop2.6.0.jar是一个fat ...
scala-spark-tutorial：詹姆斯的Apache Spark项目与Scala课程
02-05
**Apache Spark与Scala教程概述** 本教程专注于使用Scala编程语言操作大数据的Apache Spark框架。James的Scala Spark教程旨在为开发者提供一个深入理解Spark核心概念、数据处理能力以及如何结合Scala的强大功能来...
Chapter3-_-大数据处理技术Spark-第3章-Spark的设计与运行原理_1
08-03
3. **通用性**：Spark生态包括Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图计算库），涵盖了大数据处理的多个领域。 4. **运行模式灵活**：Spark可以在独立集群、Hadoop YARN或云环境（如Amazon EC...
Sparksql实战 - 用户行为日志
李玉坤的博客
12-15 7009
用户行为日志概述 用户行为日志：用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击…） 用户行为轨迹、流量日志 典型的日志来源于Nginx和Ajax 日志数据内容： 1）访问的系统属性： 操作系统、浏览器等等 2）访问特征：点击的url、从哪个url跳转过来的(referer)、页面上的停留时间等 3）访问信息：session_id、访问ip(访问城市)等 比如 2013-05-19 13:...
---scala编程环境IDEA搭建以及各种依赖添加
李玉坤的博客
12-06 4388
1、新建一个maven项目；点击next 2、项目分组id和项目名称；点击next 3、选择自己的maven路径；点击next 4、点击finish pom文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch...
SparkStreaming实战-用户行为日志
李玉坤的博客
12-19 2594
需求说明 今天到现在为止实战课程的访问量 今天到现在为止从搜索引擎引流过来的实战课程访问量 用户行为日志介绍 用户行为日志：用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击…） 用户行为轨迹、流量日志 典型的日志来源于Nginx和Ajax 日志数据内容： 1）访问的系统属性： 操作系统、浏览器等等 2）访问特征：点击的url、从哪个url跳转过来的(referer)、页面上的停留时间等...
---Spark学习-shuffle和RDD
李玉坤的博客
03-05 1504
Spark Shuffle HashShuffleManager： shuffle write阶段，默认Mapper阶段会为Reducer阶段的每一个Task单独创建一个文件来保存该Task中要使用的数据。 （1）map task的计算结果，会根据分区器（default：HashPartitioner）来决定写入到哪一个磁盘小文件中 （2）reduce task 会去map端拉取相应的小文件 产...
--- Spark学习（陆）- Spark操作外部数据源
李玉坤的博客
12-03 1192
产生背景 每个Spark应用程序从读取数据开始，到保存数据结束 加载和保存数据是不容易的 比如大数据场景解析关系型数据库需要用工具如sqoop将数据转到hbase等。 解析原始数据也不容易 ：text/json/parquet 数据直接的转换也麻烦 数据集存储在各个存储系统中无法统一拉取和推送 用户的需要： 方便快速从不同的数据源（json、parquet、rdbms），经过混合处理（jso...
spark(19) -- spark sql -- 概述
最新发布
03-16
Spark SQL是Apache Spark中的一个模块，它提供了一种基于结构化数据的编程接口。Spark SQL支持使用SQL语言进行数据查询和分析，并且可以与Spark的其他组件无缝集成，如Spark Streaming、MLlib和GraphX等。Spark SQL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值