SparkSQL 学习笔记----通用的load和save操作

一、通用的load和save操作的作用

对于Spark SQL和DataFrame来说，无论是从什么数据源创建出来的DataFrame，都有一些共同的load和save操作。
可以将一份数据load出来，变成一个DataFrame，然后可以对这个DataFrame执行一些查询筛选等操作，然后save到其他路径中。
load操作主要用于加载数据，创建出DataFrame；
save操作，主要用户将DataFrame中的数据保存到文件中

1、通用的load和save操作的使用方法

1） java版本
DataFrame df = sqlContext.read().load(“users.parquet”);
//保存到其他文件中
df.select (“name”,“favorate_color”).write().save(“namesAndFavColors.parquet”);

2） Scala版本
val df = sqlContext.read.load(“users.parquet”)
df.select (“name”,“favorate_color”).write.save(“namesAndFavColors.parquet”)

parquet—一种面向列的存储格式

2、 通用的load和save操作的实践

• java版

package pz.spark.study.sql;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SQLContext;
/**
 * 通用的load和save操作
 */
public class GenericLoadSave {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName("GenericLoadSave").setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext sqlContext = new SQLContext(sc);
        Dataset<Row> usersDF = sqlContext.read().load("./student.parquet");
        usersDF.select("name","id").write().save("./nameAndId");
    }
}

• scala版

package pz.spark.study.sql
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext
object GenericLoadSave_scala {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("GenericLoadSave_scala");
    val sc = new SparkContext(conf);
    val sQLContext = new SQLContext(sc);
    val usersDF = sQLContext.read.load("./student.parquet")
    usersDF.write.save("./namesAndId_scala")

  }
}

二、手动指定数据源类型

可以手动指定来操作数据源类型。数据源通常需要使用其全限定名来指定，比如parquet是org.apache.spark.sql.parquet。但是Spark SQL内置了一些数据源类型，比如json、parquet、jdbc等等。
通过这个功能，就可以在不同类型的数据源之间进行转换。
比如将json文件中的数据保存到parquet文件中

1、手动指定数据源类型使用方法

• Java版本

DataFrame df = sqlContext.read().format("json").load("people.json");
df.select("name","age").write().format("parquet").save("namesAndAges.parquet");

• scala版本

val df = sqlContext.read.format("json").load("person.json")
df.select("name","age").write.format("parquet").save("namesAndAges.parquet")

2、手动指定数据源类型实践

• java版

package pz.spark.study.sql;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SQLContext;
public class ManuallySpecifyOptions {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName("ManuallySpecifyOptions").setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext sqlContext = new SQLContext(sc);
        Dataset<Row> studentDF = sqlContext.read().format("json").load("student.json");
        studentDF.select("name").write().format("parquet")
                .save("studentName.parquet");
    }
}

• scala版

package pz.spark.study.sql

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext

object ManuallySpecifyOptions_scala {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("ManuallySpecifyOptions_scala");
    val sc = new SparkContext(conf);
    val sQLContext = new SQLContext(sc);
    val studentDF = sQLContext.read.format("json").load("./student.json");
    studentDF.select("id").write.format("parquet").save("./student_Name_scala");
  }
}

三、Save Mode

SparkSQL对于save操作提供了不同的save mode
主要用来处理当前目标位置，已经有数据时，应该如何处理。而且save操作并不会执行锁操作，并且不是原子的。因此是有一定风险出现脏数据的。

Save Mode	意义
SaveMode.ErrorIfExists(默认)	如果目标位置已经存在数据，那么抛出一个异常
SaveMode.Append	如果一个目标位置已经存在数据，那么将数据追加进去
SaveMode.Overwrite	如果目标位置已经存在数据，那么就将已经存在的数据删除，用新的数据进行覆盖
SaveMode.Ignore	如果目标位置已经存在数据，那么就忽略，不做任何操作

本文为北风网Spark2.0培训视频的学习笔记
视频链接：
https://www.bilibili.com/video/av19995678?t=1248&p=106