Spark SQL使用数据源

最新推荐文章于 2023-05-31 17:30:50 发布

故明所以

最新推荐文章于 2023-05-31 17:30:50 发布

阅读量441

点赞数

分类专栏： Spark 文章标签：大数据 spark

本文链接：https://blog.csdn.net/weixin_43520450/article/details/106075584

版权

一、通用的Load/Save函数

1.1 什么是parquet文件？

Parquet是列式存储格式的一种文件类型，列式存储有以下的核心：

（1）可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。

（2）压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码（例如Run Length Encoding和Delta Encoding）进一步节约存储空间。

（3）只读取需要的列，支持向量运算，能够获取更好的扫描性能。

（4）Parquet格式是Spark SQL的默认数据源，可通过spark.sql.sources.default配置

1.2 通用的Load/Save函数

（1）读取Parquet文件

val usersDF = spark.read.load("/root/resources/users.parquet")

（2）查询Schema和数据
在这里插入图片描述
（3）查询用户的name和喜爱颜色，并保存

usersDF.select($"name",$"favorite_color").write.save("/root/result/parquet")

（4）验证结果
在这里插入图片描述

1.3 显式指定文件格式：加载json格式

（1）直接加载：（会出错）

val usersDF = spark.read.load("/root/resources/people.json")

（2）需要添加文件类型：format("json")

val usersDF = spark.read.format("json").load("/root/resources/people.json")

scala> testResult.show
+----+------+-----+------+----------+---------+----+----+
|comm|deptno|empno| ename|  hiredate|      job| mgr| sal|
+----+------+-----+------+----------+---------+----+----+
|    |    20| 7369| SMITH|1980/12/17|    CLERK|7902| 800|
| 300|    30| 7499| ALLEN| 1981/2/20| SALESMAN|7698|1600|
| 500|    30| 7521|  WARD| 1981/2/22| SALESMAN|7698|1250|
|    |    20| 7566| JONES|  1981/4/2|  MANAGER|7839|2975|
|1400|    30| 7654|MARTIN| 1981/9/28| SALESMAN|7698|1250|
|    |    30| 7698| BLAKE|  1981/5/1|  MANAGER|7839|2850|
|    |    10| 7782| CLARK|  1981/6/9|  MANAGER|7839|2450|
|    |    20| 7788| SCOTT| 1987/4/19|  ANALYST|7566|