[大数据]Spark(3)SparkSQL(2)

3. SparkSQL数据的加载与保存

3.1 通用的加载和保存方式

spark.read.load 是加载数据的通用方法
df.write.save 是保存数据的通用方法

3.1.1 加载数据

1）read直接加载数据

spark.read.json("/opt/module/spark-local/people.json")

2）format指定加载数据类型

spark.read.format("json").load("/opt/module/spark-local/people.json")

format("…")：指定加载的数据类型，包括"csv"、“jdbc”、“json”、“orc”、“parquet"和"textFile”
load("…")：在"csv"、“jdbc”、“json”、“orc”、“parquet"和"textFile"格式下需要传入加载数据的路径
option(”…")：在"jdbc"格式下需要传入JDBC相应参数，url、user、password和dbtable

3）在文件上直接运行SQL

spark.sql("select * from json.`/opt/module/spark-local/people.json`").show

输出：

3.1.2 保存数据

1）write直接保存数据

scala> df.write.
csv  jdbc   json  orc   parquet textFile… …

保存数据的相关参数需写到上述方法中。如：textFile需传入加载数据的路径，jdbc需传入JDBC相关参数。

# 默认保存格式为parquet
scala> df.write.save("/opt/module/spark-local/output")
# 可以指定为保存格式，直接保存，不需要再调用save了
scala> df.write.json("/opt/module/spark-local/output")

2）format指定保存数据类型

df.write.format("…")[.option("…")].save("…")

format("…")：指定保存的数据类型，包括"csv"、“jdbc”、“json”、“orc”、“parquet"和"textFile”。
save ("…")：在"csv"、“orc”、“parquet"和"textFile"格式下需要传入保存数据的路径。
option(”…")：在"jdbc"格式下需要传入JDBC相应参数，url、user、password和dbtable

3）文件保存选项

保存操作可以使用 SaveMode, 用来指明如何处理数据，使用mode()方法来设置。有一点很重要: 这些 SaveMode 都是没有加锁的, 也不是原子操作。SaveMode是一个枚举类，其中的常量包括：

Scala/Java	Any	Language Meaning
SaveMode.ErrorIfExists(default)	“error”(default)	如果文件已经存在则抛出异常
SaveMode.Append	“append”	如果文件已经存在则追加
SaveMode.Overwrite	“overwrite”	如果文件已经存在则覆盖
SaveMode.Ignore	“ignore”	如果文件已经存在则忽略

使用指定format指定保存类型进行保存

df.write.mode("append").json("/opt/module/spark-local/output")

3.1.3 默认数据源

Spark SQL的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQL可以方便的执行所有的操作，不需要使用format。修改配置项spark.sql.sources.default，可修改默认数据源格式。

1）加载数据

val df = spark.read.load("/opt/module/spark-local/examples/src/main/resources/users.parquet").show

2）保存数据

var df = spark.read.json("/opt/module/spark-local/people.json")
df.write.mode("append").save("/opt/module/spark-local/output")

3.2 JSON文件

Spark SQL 能够自动推测 JSON数据集的结构，并将它加载为一个Dataset[Row]. 可以通过SparkSession.read.json()去加载一个 一个JSON 文件。

1）导入隐式转换

import spark.implicits._

2）加载JSON文件

val path = "/opt/module/spark-local/people.json"
val peopleDF = spark.read.json(path)

3）创建临时表

peopleDF.createOrReplaceTempView("people")

4）数据查询

val teenagerNamesDF = spark.sql("SELECT name FROM people WHERE age BETWEEN 13 AND 19")
teenagerNamesDF.show()

3.3 MySQL

Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。

如果使用spark-shell操作，可在启动shell时指定相关的数据库驱动路径或者将相关的数据库驱动放到spark的类路径下。
bin/spark-shell
–jars mysql-connector-java-5.1.27-bin.jar

在Idea中通过JDBC对Mysql进行操作

3.3.1 通过jdbc对MySQL进行读写操作

/**
 * 通过jdbc对MySQL进行读写操作
 */
object SparkSQL01_MySQL {
   
  def main(args: Array[String]): Unit = {
   
    //创建配置文件对象
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkSQL01_MySQL")

    //创建SparkSession对象
    val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()

    import spark.implicits._

    //从MySql数据库中读取数据

    //方式1 通用的load方法读取

    spark.read.format("jdbc")
      .option("url", "jdbc:mysql://hadoop102:3306/test")
      .option("driver ", "com.mysql.jdbc.Driver")
      .option("user", "root")
      .option("password", "000000")
      .option("dbtable", "user")
      .load().show()

    //方式2 通用的load方法读取 参数另一种形式

    spark.read.format("jdbc")
      .options(
        Map(
          "url" -> "jdbc:mysql://hadoop102:3306/test",
          "driver" -> "com.mysql.jdbc.Driver",
          "user" -> "root",
          "password" -> "000000",
          "dbtable" -> "user"
        )
      )
      .load().show()

    //方式3 使用jdbc方法读取
    val properties: Properties = new Properties()
    properties.setProperty("user", "root")
    properties.setProperty("password", "000000")
    spark.read.jdbc("jdbc:mysql://hadoop102:3306/test", "user", properties).show()


    //向MySql数据库中写数据
    val rdd: RDD[User] = spark.sparkContext.makeRDD(List(User("aaa", 20), User("bbb", 18)))

    //将RDD转换为DF
    val df: DataFrame = rdd.toDF()

    //将RDD转换为DS
    val ds: Dataset[User]