SparkSql第一天
Shark
Shark 是基于 Spark 计算框架之上且兼容 Hive 语法的 SQL 执行引擎,由于底层的计算采用了
Spark ,性能比 MapReduce 的 Hive 普遍快2倍以上,当数据全部加载在内存的话,将快10倍以
上,因此 Shark 可以作为交互式查询应用服务来使用。
除了基于Spark的特性之外,shark是完全兼容HIve的语法,表结构以及UDF函数等,已有的
Hive Sql 可以直接进行迁移至 Shark 上 Shark 底层依赖于 Hive 的解析器,查询优化器,但正是
由于 shark 的整体设计架构对 Hive 的依赖性太强,难以支持其长远发展,比如不能和 Spark 的其
他组件进行很好的集成,无法满足 Spark 的一站式解决大数据处理的需求。
shark是SparkSql的前身,SaprkSql产生的根本原因是其完全脱离了Hive的限制
SparkSQL 支持查询原生的 RDD 。 RDD 是 Spark 的核心概念,是 Spark 能够高效的处理大数据的各种场景的基础。
能够在 scala / java 中写 SQL 语句。支持简单的 SQL 语法检查,能够在 SQL 中写 Hive 语句访问
Hive 数据,并将结果取回作为 RDD 使用。
Spark on Hive和Hive on Spark
Spark on Hive :Hive只作为储存角色,Spark负责sql解析优化,执行。
Hive on Spark:Hive即作为存储又负责sql的解析优化,Spark负责执行
Dataset与DataFrame
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.12</artifactId>
<version>2.4.6</version>
</dependency>
DataFrame
![](https://i-blog.csdnimg.cn/blog_migrate/8be2a4906d605623df149a58032671a0.png)
可以简单的把DataFrame理解成RDD+schema元信息
特征:
在spark中,DataFrame是一种以RDD为基础的分布式数据集,类似传统数据库的二维表格
DataFrame带有schema元信息,即DataFrame所表示的二维表数据集的每一列都带有名称(如下图的 name age height)和类型(如下图的 string int double)
DataFrame可以从很多数据源构建对象 ,如已经存在的RDD、结构化文件、外部数据库、Hive表。
RDD可以把它的内部元素看成是一个java对象,DataFrame内部是一个个Row对象,它表示一行一行的数据
区别
左侧的RDD[Person]虽然以Person为类型参数,蚕食Spark框架本身不了解Person类的内部结构
右侧的DataFrame却提供了详细的结构信息,DataFrame多了数据的结构信息,即schema
优点
提升执行效率
减少数据读取
执行优化
DataSet
DataSet是分布式的数据集合,DataSet提供了强类型支持,在RDD的每行数据加了类型约束
Datset是在spark1.6中新添加的接口。它集中了RDD的优点(强类型和可以使用强大的lambda函
数)以及使用了sparkSQL优化的执行引擎。
DataFrame(在2.X之后)实际上是DataSet的一个特例,即对Dataset的元素为Row时起了一个别名
![](https://i-blog.csdnimg.cn/blog_migrate/3638611224a945b2b6219d8121bcad8c.png)
DSL数据操作
action
show以表格的形式在输出中展示 jdbcDF 中的数据,类似于 select * from spark_sql_test 的功能。
show 只显示前20条记录
show(numRows: Int) 显示 numRows 条
show(truncate: Boolean) 是否最多只显示20个字符,默认为 true
show(numRows: Int, truncate: Boolean) 综合前面的显示记录条数,以及对过长字符串的显示格式
collect 方法会将 jdbcDF 中的所有数据都获取到,并返回一个 Array 对象
collectAsList:获取所有数据到List
describe(cols: String*):获取指定字段的统计信息
first, head, take, takeAsList:获取若干行记录
first 获取第一行记录
head 获取第一行记录, head(n: Int) 获取前n行记录
take(n: Int) 获取前n行数据
takeAsList(n: Int) 获取前n行数据,并以 List 的形式展现
查询
where(conditionExpr: String) :SQL语言中where关键字后的条件
可以用 and 和 or 。得到DataFrame类型的返回结果
filter :根据字段进行筛选
得到DataFrame类型的返回结果。和 where 使用条件相同
select :获取指定字段值
根据传入的 String 类型字段名,获取指定字段的值,以DataFrame类型返回
selectExpr :可以对指定字段进行特殊处理
可以直接对指定字段调用UDF函数,或者指定别名等。传入 String 类型参数,得到DataFrame对象。
col :获取指定字段
只能获取一个字段,返回对象为Column类型
apply :获取指定字段
只能获取一个字段,返回对象为Column类型
drop :去除指定字段,保留其他字段
返回一个新的DataFrame对象,其中不包含去除的字段,一次只能去除一个字段
Limit
limit 方法获取指定DataFrame的前n行记录,得到一个新的DataFrame对象
排序
orderBy 和 sort :按指定字段排序,默认为升序
按指定字段排序。加个 - 表示降序排序。 sort 和 orderBy 使用方法相同
jdbcDF.orderBy(- jdbcDF("c4")).show(false)
jdbcDF.orderBy(jdbcDF("c4").desc).show(false)
sortWithinPartitions
和上面的 sort 方法功能类似,区别在于 sortWithinPartitions 方法返回的是按Partition排好序的DataFrame对象。
组函数
groupBy :根据字段进行 group by 操作
groupBy有两种调用方法,可以传入String类型的字段名,也可以传入column类型的对象
cube 和 rollup :group by的扩展
功能类似于 SQL 中的 group by cube/rollup
GroupedData对象
该方法得到的是 GroupedData 类型对象,在 GroupedData 的API中提供了 group by 之后的操作
去重
distinct :返回一个不包含重复记录的DataFrame
返回当前DataFrame中不重复的Row记录。该方法和接下来的 dropDuplicates() 方法不传入指定字段时的结果相同。
dropDuplicates :根据指定字段去重
根据指定字段去重。类似于 select distinct a, b 操作
聚合
聚合操作调用的是 agg 方法,该方法有多种调用方式。一般与 groupBy 方法配合使用
以下示例其中最简单直观的一种用法,对 id 字段求最大值,对 c4 字段求和
jdbcDF.agg("id" -> "max", "c4" -> "sum")
UNion
unionAll 方法:对两个DataFrame进行组合 ,类似于 SQL 中的 UNION ALL 操作
Join
笛卡尔积
joinDF1.join(joinDF2)
using 一个字段形式
下面这种join类似于 a join b using column1 的形式,需要两个DataFrame中有相同的一个列名,
joinDF1.join(joinDF2, "id")
using 多个字段形式
上面这种 using 一个字段的情况外,还可以 using 多个字段
save
save可以将data数据保存到指定的区域
dataFrame.write.format("json").mode(SaveMode.Overwrite).save()
SparkSQL的数据源
SparkSQL 的数据源可以是 JSON 类型的字符串, JDBC , Parquet , Hive , HDFS 等
SparkSQL底层架构
首先拿到 sql 后解析一批未被解决的逻辑计划,再经过分析得到分析后的逻辑计划,再经过一批优化规则转换成一批最佳优化的逻辑计划,再经过 SparkPlanner 的策略转化成一批物理计划,随后
经过消费模型转换成一个个的 Spark 任务执行
![](https://i-blog.csdnimg.cn/blog_migrate/41d43542af4ec626cd5eeb7e382cc677.png)
谓词下推
Predicate Pushdown简称谓词下推,简而言之,就是在不影响结果的情况下,尽量将过滤条件提前执行。谓词下推后,过滤条件在map端执行,减少了map端的输出,降低了数据在集群上传输的
量,节约了集群的资源,也提升了任务的性能
![](https://i-blog.csdnimg.cn/blog_migrate/cb81907defa5595251e2821733937515.png)