SPark学习笔记：09SparkSQL 数据源之文件和JDBC

最新推荐文章于 2024-05-29 09:44:05 发布
最新推荐文章于 2024-05-29 09:44:05 发布
阅读量699 收藏
点赞数
分类专栏： Spark 大数据 文章标签： spark 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangzhongyudie/article/details/125997525
版权

文章目录

概述

SparkSQL支持通过DataFrame的接口操作各种各样的数据源。DataFrame既能够使用传统的算子做转换操作，也可以通过注册成临时视图的方式通过SQL来操作。这篇文章将总结Spark的各种数据源，以及如何将数据落地到文件或者传统的关系型数据库中。

从json文件中load数据

示例

val sensorDf:DataFrame = spark.read
  .format("json")
  .option("prefersDecimal",true)
  .option("multiLine",true)
  .option("allowComments",true)
  .option("allowUnquotedFieldNames",true)
  .load("data/sensor.json")
sensorDf.show()
sensorDf.printSchema()

参数说明

timeZone

  • 说明：设置json文件中的日期时间的时区的值。支持的格式有两种：
  1. 'area/city’这种地区格式：eg.‘America/Los_Angeles’
  2. Zone+偏移量的方式：格式：‘(+|-)HH:mm’ eg.‘-8:00’或者’+1:00
  • 默认值：默认是spark.sql.session.timeZone参数的值

primitivesAsString

  • 说明：将json文件的所有值都转换成String类型处理
  • 默认值：false
  • 用法:
val sensorDf:DataFrame = spark.read
  .format("json")
  .option("primitivesAsString",true)
  .load("data/sensor.json")
sensorDf.printSchema()

输出：

root
 |-- id: string (nullable = true)
 |-- temperature: string (nullable = true)
 |-- timestamp: string (nullable = true)

prefersDecimal

  • 说明：将浮点数的值转换成decimal类型处理
  • 默认值：false
  • 用法:

文件内容:

{"id": "sensor1","timestamp": 1639968630, "temperature": 12.1}
{"id": "sensor2", "timestamp": 1639968620,"temperature": 13.1}

val sensorDf:DataFrame = spark.read
  .format("json")
  .option("prefersDecimal",true)
  .load("data/sensor.json")
sensorDf.printSchema()

输出：

root
 |-- id: string (nullable = true)
 |-- temperature: decimal(3,1) (nullable = true)
 |-- timestamp: long (nullable = true)

multiLine

  • 说明：json文件是否是多行的（用于处理如下格式的json文件）
  • 默认值：false
  • 用法:

文件内容:

[
    {"id": "sensor1","timestamp": 1639968630, "temperature": 12.1},
    {"id": "sensor2", "timestamp": 1639968620,"temperature": 13.1}
]

val sensorDf:DataFrame = spark.read
  .format("json")
  .option("multiLine",true)
  .load("data/sensor.json")
sensorDf.printSchema()

输出：

+-------+-----------+----------+
|     id|temperature| timestamp|
+-------+-----------+----------+
|sensor1|       12.1|1639968630|
|sensor6|       20.1|1639968530|
+-------+-----------+----------+

allowComments

  • 说明：是否允许json文件中出现注释
  • 默认值：false
  • 用法:

文件内容:

{"id": "sensor1","timestamp": 1639968630, "temperature": 12.1}
//这是一段json注释
{"id": "sensor2", "timestamp": 1639968620,"temperature": 13.1}

val sensorDf:DataFrame = spark.read
  .format("json")
  .option("allowComments",true)
  .load("data/sensor.json")
sensorDf.printSchema()

输出：

+-------+-----------+----------+
|     id|temperature| timestamp|
+-------+-----------+----------+
|sensor1|       12.1|1639968630|
|sensor6|       20.1|1639968530|
+-------+-----------+----------+

如果为false，则会报错，处理失败。

allowUnquotedFieldNames

  • 说明：是否允许json文件数据的Key值不用’引号’括起来
  • 默认值：false，json格式的key必须要用引号包起来
  • 用法:

文件内容:

{"id": "sensor1","timestamp": 1639968630, "temperature": 12.1}
{id: "sensor2", timestamp: 1639968620,"temperature": 13.1}

val sensorDf:DataFrame = spark.read
  .format("json")
  .option("allowUnquotedFieldNames",true)
  .load("data/sensor.json")
sensorDf.printSchema()

输出：

+-------+-----------+----------+
|     id|temperature| timestamp|
+-------+-----------+----------+
|sensor1|       12.1|1639968630|
|sensor6|       20.1|1639968530|
+-------+-----------+----------+

如果为false，则会报错，处理失败。

allowSingleQuotes

  • 说明：是否允许json文件数据的Key使用“单引号”括起来
  • 默认值：true，json格式的key允许使用“单引号”括起来
  • 用法:

文件内容:

{"id": "sensor1","timestamp": 1639968630, "temperature": 12.1}
{'id': "sensor2", 'timestamp': 1639968620,"temperature": 13.1}

val sensorDf:DataFrame = spark.read
  .format("json")
  .option("allowSingleQuotes",true)
  .load("data/sensor.json")
sensorDf.printSchema()

输出：

+-------+-----------+----------+
|     id|temperature| timestamp|
+-------+-----------+----------+
|sensor1|       12.1|1639968630|
|sensor6|       20.1|1639968530|
+-------+-----------+----------+

如果为false，则会报错，处理失败。

dropFieldIfAllNull

  • 说明：如果key的值全部为null，就删除这一列(DataFrame中不显示)
  • 默认值：false
  • 用法:

文件内容:

{"id": "sensor1","timestamp": 1639968630, "temperature": null}
{'id': "sensor2", 'timestamp': 1639968620,"temperature": null}

val sensorDf:DataFrame = spark.read
  .format("json")
  .option("dropFieldIfAllNull",true)
  .load("data/sensor.json")
sensorDf.printSchema()

输出：

root
 |-- id: string (nullable = true)
 |-- timestamp: long (nullable = true)

temperature的值全部为null，所以被从shcema中删除。

dateFormat

文件内容:

{"id": null,"timestamp": null, "temperature": null,"enterdate": "20220701"}
{"id": "sensor6","timestamp": 1639968530,"temperature": null,"enterdate": "20220701"}

val sensorDf:DataFrame = spark.read
  .format("json")
  .option("dateFormat","yyyyMMdd")
  .schema("enterdate date,id string,temperature double,timestamp long")
  .load("data/sensor.json")
sensorDf.show()
sensorDf.printSchema()

输出：

+----------+-------+-----------+----------+
| enterdate|     id|temperature| timestamp|
+----------+-------+-----------+----------+
|2022-07-01|   null|       null|      null|
|2022-07-01|sensor6|       null|1639968530|
+----------+-------+-----------+----------+

从CSV文件中load数据

示例

val sensorDf:DataFrame = spark.read
  .format("csv")
  .schema("id string,timestamp long,temperature double")
  .option("sep",";")
  .load("data/sensor.csv")
sensorDf.show()
sensorDf.printSchema()

参数说明

sep

  • 说明：指定CSV文件的分隔符
  • 默认值：,
  • 用法:

文件内容:

sensor_1;1639968630;13.4
sensor_1;1639968631;42.8

val sensorDf:DataFrame = spark.read
  .format("csv")
  .schema("id string,timestamp long,temperature double")
  .option("sep",";")
  .load("data/sensor.csv")
sensorDf.show()

输出：

+--------+----------+-----------+
|      id| timestamp|temperature|
+--------+----------+-----------+
|sensor_1|1639968630|       13.4|
|sensor_1|1639968631|       42.8|
+--------+----------+-----------+

comment

  • 说明：指定注释开头的字符，以这个字符开头的行都会被当成注释忽略掉
  • 默认值 ：默认是关闭的，
  • 用法:

文件内容:

sensor_1;1639968630;13.4
sensor_1;1639968631;42.8
#这是一行注释;请忽略
sensor_1;1639968630;13.4
sensor_1;1639968631;42.8

    val sensorDf:DataFrame = spark.read
      .format("csv")
      .schema("id string,timestamp long,temperature double")
      .option("sep",";")
      .option("comment","#")
      .load("data/sensor.csv")
    sensorDf.show()
    sensorDf.printSchema()

输出：

+--------+----------+-----------+
|      id| timestamp|temperature|
+--------+----------+-----------+
|sensor_1|1639968630|       13.4|
|sensor_1|1639968631|       42.8|
|sensor_1|1639968630|       13.4|
|sensor_1|1639968631|       42.8|
+--------+----------+-----------+

header

  • 说明：表头，是否以第一行作为DataFrame的列名
  • 默认值 ：false，
  • 用法:

文件内容:

id;timestamp;temperature
sensor_1;1639968630;13.4
sensor_1;1639968631;42.8

val sensorDf:DataFrame = spark.read
  .format("csv")
  .option("sep",";")
  .option("header",true)
  .load("data/sensor.csv")
sensorDf.show()
sensorDf.printSchema()

输出：

+--------+----------+-----------+
|      id| timestamp|temperature|
+--------+----------+-----------+
|sensor_1|1639968630|       13.4|
|sensor_1|1639968631|       42.8|
+--------+----------+-----------+

root
 |-- id: string (nullable = true)
 |-- timestamp: string (nullable = true)
 |-- temperature: string (nullable = true)

lineSep

  • 说明：行分割符号
  • 默认值 ：在read时默认是’\r\n’或者’\n’或者’\r’,在write时默认是’\n’
  • 用法:

文件内容:

id;timestamp;temperature
sensor_1;1639968630;13.4
sensor_1;1639968631;42.8

val sensorDf:DataFrame = spark.read
  .format("csv")
  .option("lineSep","\r\n")
  .option("header",true)
  .load("data/sensor.csv")
sensorDf.show()
sensorDf.printSchema()

输出：

+--------+----------+-----------+
|      id| timestamp|temperature|
+--------+----------+-----------+
|sensor_1|1639968630|       13.4|
|sensor_1|1639968631|       42.8|
+--------+----------+-----------+

root
 |-- id: string (nullable = true)
 |-- timestamp: string (nullable = true)
 |-- temperature: string (nullable = true)

从ORC文件中load数据

示例

val sensorDf:DataFrame = spark.read
  .format("orc")
  .load("data/save/sensor/orc")
sensorDf.show()
sensorDf.printSchema()

从Parquet文件中load数据

示例

val sensorDf:DataFrame = spark.read
  .format("parquet")
  .load("data/save/sensor/parquet")
sensorDf.show()
sensorDf.printSchema()

从Text文件中load数据

示例

    val sensorDf:DataFrame = spark.read
      .option("lineSep",";")
      .text("data/sensor.csv")
    sensorDf.show()
    sensorDf.printSchema()

参数说明

lineSep

  • 说明：行分隔符
  • 默认值：;
  • 用法:

文件内容:

sensor_1;1639968630;13.4;sensor_1;1639968631;42.8

    val sensorDf:DataFrame = spark.read
      .option("lineSep",";")
      .text("data/sensor.csv")
    sensorDf.show()
    sensorDf.printSchema()

输出：

+----------+
|     value|
+----------+
|  sensor_1|
|1639968630|
|      13.4|
|  sensor_1|
|1639968631|
|      42.8|
+----------+

root
 |-- value: string (nullable = true)

通过JDBC从关系型数据库load数据

示例使用

val df = spark.read.format("jdbc")
  .option("url","jdbc:mysql://127.0.0.1:3307/news?user=root&password=root")
  .option("query","SELECT ID,TIMESTAMP FROM sensor")
  .option("driver","com.mysql.cj.jdbc.Driver")
  .option("queryTimeout",30)
  .load()
df.show()

内置支持的关系型数据库有：

  • DB2
  • MariaDB
  • MS Sql
  • Oracle
  • PostgreSQL

参数说明

url

  • 说明：jdbc连接的url，如果url中没有用户名和密码，则需要在option中添加"user"和“password”选项。
  • 用法:
val df = spark.read
.format("jdbc")
.option("url","jdbc:mysql://127.0.0.1:3307/news?user=root&password=root")
.load()

query

  • 说明：指定取数据的查询语句，和dbtable只能配置一个(互斥)
  • 用法:
val df = spark.read
.format("jdbc")
.option("url","jdbc:mysql://127.0.0.1:3307/news?user=root&password=root")
.option("query","SELECT ID,TIMESTAMP FROM sensor")
.load()

dbtable

  • 说明：指定取数据表，和query只能配置一个(互斥)
  • 用法:
val df = spark.read
.format("jdbc")
.option("url","jdbc:mysql://127.0.0.1:3307/news?user=root&password=root")
.option("dbtable","sensor")
.load()

driver

  • 说明：指定数据库连接驱动，如果不指定，则使用默认的
  • 用法:
val df = spark.read
.format("jdbc")
.option("url","jdbc:mysql://127.0.0.1:3307/news?user=root&password=root")
.option("driver","com.mysql.cj.jdbc.Driver")
.option("dbtable","sensor")
.load()

customSchema

  • 说明：自定义查询后的结果表的schema
  • 用法:
val df = spark.read.format("jdbc")
  .option("url","jdbc:mysql://127.0.0.1:3307/news?user=root&password=root")
  .option("query","SELECT ID,TIMESTAMP FROM sensor")
  .option("customSchema","ID STRING,TIMESTAMP double")
  .load()
df.show()

官方文档：
https://spark.apache.org/docs/latest/sql-data-sources-json.html

wangzhongyudie
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkSQL数据源
qqq83150li的博客
03-02 193
SparkSQL支持通过DataFrame接口操作多种数据源。DataFrame可以进行关系型转换操作，也能用来创建临时表。创建临时表后可以对它进行SQL查询。本章节描述了使用Spark数据源loading和saving数据的一般方法，然后是一些内建数据源的指定选项。 一般load/save函数 最简单的形式，使用默认数据源进行所有操作（默认是parquet，除非用spark.sql.source...
Spark SQL（五）—— Spark SQL数据源
分享AI工具、AI技术、AI学习经验，感谢大家关注
03-13 801
文章目录1. 使用load（加载函数）、save（存储函数）2. Parquet文件2.1 把其他文件转换成Parquet文件2.2 支持Schema合并3. JSON文件4. JDBC4.1 方式一：read.format("jdbc")4.2 方式二：定义Properties类5. Hive5.1 配置Spark SQL支持Hive5.2 使用Spark SQL操作 Hive 在Spark S...
【spark sql】spark（八）sparkSQL概述：dataFrame、DataSet、UDF、SparkSQL数据源
hiliang521的博客
10-06 1213
【spark sql】sparkSQL概述：dataFrame、DataSet、UDF、SparkSQL数据源
SparkSQL读写
Cincinnati_De的博客
03-01 663
Spark SQL数据的加载与保存 加载数据 1）read直接加载数据 scala> spark.read. csv jdbc json orc parquet textFile… … 注意：加载数据的相关参数需写到上述方法中。如：textFile需传入加载数据的路径，jdbc需传入JDBC相关参数。 2）format指定加载数据类型 scala> spark.read.f...
spark-query:使用 SparkSQL 查询数据集
06-28
使用 SparkSQL 查询数据集存储 - 镶木地板 + Avro 计算 - Spark 查询接口 - Spark SQL 去做： 查询引擎查询数据集 开发一个可以与job-server 集成的驱动程序和spark-jobserver 使用不同的模式文件（模式演变） ##...
Spark学习之路【SparkSQL入门解析】
01-07
【一】简介 (本文部分图片来自网络，侵删) ...DataFrame和SQL提供了一种访问各种数据源的通用方法，包括Hive，Avro，Parquet，ORC，JSON和JDBC。甚至可以跨这些源联接数据 【2.3】兼容Hive Spark SQL支
ApacheSpark数据分析教程（二）：SparkSQL
02-26
本Spark序列教程的第一部分，已对Spark进行介绍，详细解释了用于在Spark集群中进行数据分片存储的弹性分布式数据集（RDDs）以及ApacheSpark的生态...本教程（第二部分）将对Spark生态系统中占有重要地位的SparkSQL和
spark-xml:Spark SQL和DataFrames的XML数据源
05-12
Apache Spark的XML数据源 一个用于使用解析和查询XML数据的库，用于Spark SQL和DataFrames。 结构和测试工具大部分是从复制的。 该软件包支持以分布式方式处理无格式的XML文件，这与Spark中的JSON数据源限制嵌入式...
spark-postgres:适用于Apache Spark的PostgreSQL和GreenPlum数据源
05-24
适用于Apache Spark的PostgreSQL和GreenPlum数据源 一个库，用于使用Apache Spark从Greenplum数据库读取数据并将数据传输到Greenplum数据库，用于Spark SQL和DataFrame。 在将数据从Spark传输到Greenpum数据库时，该...
十三、Spark SQL数据源 - JDBC
zlwm000的博客
06-17 560
Spark SQL还可以使用JDBC API从其他关系型数据库读取数据，返回的结果仍然是一个DataFrame，可以很容易地在Spark SQL中处理，或者与其他数据源进行连接查询。在使用JDBC连接数据库时可以指定相应的连接属性 创建表student，执行命令：CREATE TABLE student (id INT, name VARCHAR(10), gender VARCHAR(2), age INT);启动Spark Shell 读取student表 val studentDF = spark.
SparkSession和sparkSQL
ytp552200ytp的博客
02-25 2189
一、概述 spark 有三大引擎，spark core、sparkSQL、sparkStreaming， spark core 的关键抽象是 SparkContext、RDD； SparkSQL 的关键抽象是 SparkSession、DataFrame； sparkStreaming 的关键抽象是 StreamingContext、DStream SparkSession是 spark2.0 引入的概念，主要用在 sparkSQL 中，当然也可以用在其他场合，他可以代替 SparkContex.
Spark-SQL篇
qq_59336423的博客
07-08 516
案例实操：1.数据准备我们这次 Spark-sql 操作中所有的数据均来自 Hive，首先在 Hive 中创建表,，并导入数据。一共有 3 张表： 1 张用户行为表，1 张城市表，1 张产品表。2.需求：各区域热门商品 Top32.1需求简介 这里的热门商品是从点击量的维度来看的，计算各个区域前三大热门商品，并备注上每 个商品在主要城市中的分布比例，超过两个城市用其他显示。 2.2需求分析➢ 查询出来所有的点击记录，并与 city_info 表连接，得到每个城市所在的地区，与Product_i
计算机毕业设计hadoop+spark+hive知识图谱音乐推荐系统 音乐数据分析可视化大屏 音乐爬虫 LSTM情感分析 大数据毕设 深度学习 机器学习
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-28 2004
计算机毕业设计hadoop+spark+hive知识图谱音乐推荐系统 音乐数据分析可视化大屏 音乐爬虫 LSTM情感分析 大数据毕设 深度学习 机器学习
大数据——Spark
qq_60688380的博客
05-28 1197
MLlib是Spark的机器学习（）库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的管道API。2.
Spark基础：Scala变量与数据类型
最新发布
IT深耕十余载，大道之简
05-29 485
Scala的变量和数据类型是其编程基础的重要组成部分。通过理解Scala的变量类型（val和var）和数据类型（基本数据类型和复合数据类型），你可以更有效地编写Scala代码，并在Apache Spark等大数据处理框架中利用这些概念来处理和分析数据。
spark的简单学习二
weixin_65909965的博客
05-28 669
spark-sql，DSL，
Spark基础：Spark RDD案例分析
IT深耕十余载，大道之简
05-29 453
在Apache Spark中，RDD（Resilient Distributed Dataset，弹性分布式数据集）是Spark的基本数据结构，它代表了一个不可变、分布式对象集合。RDD允许你执行各种转换（transformations）和动作（actions）来操作数据。下面是一个简单的Spark RDD的案例分析，用于说明RDD的基本使用。
spark学习笔记：spark sql概述
06-28
Spark SQL支持多种数据源，包括Hive、JSON、Parquet等。Spark SQL还提供了一些高级功能，如支持用户自定义函数、支持分布式机器学习算法等。Spark SQL的目标是让用户能够方便地使用Spark进行数据处理和分析，同时...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值