Spark SQL（RDD、DataFrame 、DataSet 相互转换）

Spark SQL（RDD、DataFrame 、DataSet 相互转换）

一、Spark SQL数据抽象

SparkCore的数据抽象：RDD

SparkStreaming的数据抽象：DStream，底层是RDD

SparkSQL的数据抽象：DataFrame和DataSet，底层是RDD

1、DataFrame

DataFrame = RDD - 泛型 + Schema约束（指定字段名和类型）+ SQL操作 + 优化

DataFrame 就是在RDD的基础之上做了进一步的封装，支持 SQL操作

DataFrame 就是一个分布式表

2、DataSet

DataSet = DataFrame + 泛型

DataSet = RDD + Schema约束（指定字段名和类型）+ SQL操作 + 优化

DataSet 就是在RDD的基础之上做了进一步的封装，支持 SQL操作

DataSet 就是一个分布式表

二、实战示例

1、加载数据成为分布式表

package com.jiang.sparksql

import org.apache.spark.SparkContext
import org.apache.spark.sql.{DataFrame, SparkSession}

object Demo01 {

  def main(args: Array[String]): Unit = {

    //TODO 0.准备环境
    val spark: SparkSession = SparkSession.builder().appName("sparksql").master("local[*]").getOrCreate()
    val cs: SparkContext = spark.sparkContext
    cs.setLogLevel("WARN")
    
    //TODO 1.加载数据
    val resultTxt: DataFrame = spark.read.text("data/input/wc.txt")
    val resultJson: DataFrame = spark.read.json("data/input/package.json")
    val resultCsv: DataFrame = spark.read.csv("data/input/testcsv.csv")


    //TODO 2.处理数据

    //TODO 3.输出结果
    resultTxt.printSchema()
    resultJson.printSchema()
    resultCsv.printSchema()
    resultTxt.show()
    resultJson.show()
    resultCsv.show()

    //TODO 3.关闭资源
    spark.stop()
  }

}

2、将RDD转为DataFrame

（1）使用样例类

package com.jiang.sparksql

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, SparkSession}

object Demo02 {

  def main(args: Array[String]): Unit = {

    //TODO 0.准备环境
    val spark: SparkSession = SparkSession.builder().appName("sparksql").master("local[*]").getOrCreate()
    val sc: SparkContext = spark.sparkContext
    sc.setLogLevel("WARN")

    //TODO 1.加载数据
      val lines: RDD[String] = sc.textFile("data/input/person.txt")


    //TODO 2.处理数据
    val personRDD: RDD[Person] = lines.map(line => {
      val arr: Array[String] = line.split(" ")
      Person(arr(0).toInt, arr(1), arr(2).toInt)
    })

    // RDD --> DF
    import spark.implicits._
    val personDF: DataFrame = personRDD.toDF()

    //TODO 3.输出结果
    personDF.printSchema()
    personDF.show()

    //TODO 3.关闭资源
    spark.stop()
  }

  case class Person(id:Int,name:String,age:Int)

}

（2）自定义类型 + 列名

package com.jiang.sparksql

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, SparkSession}

/*
 * @param null
*
*  @Description: 将RDD转为DataFrame--->自定义类型 + 列名
*/
object Demo03 {

  def main(args: Array[String]): Unit = {

    //TODO 0.准备环境
    val spark: SparkSession = SparkSession.builder().appName("sparksql").master("local[*]").getOrCreate()
    val sc: SparkContext = spark.sparkContext
    sc.setLogLevel("WARN")

    //TODO 1.加载数据
    val lines: RDD[String] = sc.textFile("data/input/person.txt")


    //TODO 2.处理数据
    val tupleRDD: RDD[(Int, String, Int)] = lines.map(line => {
      val arr: Array[String] = line.split(" ")
      (arr(0).toInt, arr(1), arr(2).toInt)
    })


    // RDD --> DF
    import spark.implicits._
    val personDF: DataFrame = tupleRDD.toDF("id","name","age")  // 自定义列名

    //TODO 3.输出结果
    personDF.printSchema()
    personDF.show()

    //TODO 3.关闭资源
    spark.stop()
  }

  //case class Person(id:Int,name:String,age:Int)

}

（3）自定义Scheme

package com.jiang.sparksql

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
import org.apache.spark.sql.{DataFrame, Row, SparkSession}

/*
 * @param null
*
*  @Description: 将RDD转为DataFrame--->自定义Scheme
*/
object Demo04 {

  def main(args: Array[String]): Unit = {

    //TODO 0.准备环境
    val spark: SparkSession = SparkSession.builder().appName("sparksql").master("local[*]").getOrCreate()
    val sc: SparkContext = spark.sparkContext
    sc.setLogLevel("WARN")

    //TODO 1.加载数据
    val lines: RDD[String] = sc.textFile("data/input/person.txt")


    //TODO 2.处理数据
    val RowRDD: RDD[Row] = lines.map(line => {
      val arr: Array[String] = line.split(" ")
      Row(arr(0).toInt, arr(1), arr(2).toInt)
    })


    // RDD --> DF
    import spark.implicits._

//    val schema = StructType(
//      StructField("id", IntegerType, false) ::
//        StructField("name", StringType, false) ::
//           StructField("age", IntegerType, true) :: Nil)
      val schema = StructType(List(
          StructField("id", IntegerType, false),
          StructField("name", StringType, false),
          StructField("age", IntegerType, true)
      ))

    val personDF: DataFrame = spark.createDataFrame(RowRDD,schema)

    //TODO 3.输出结果
    personDF.printSchema()
    personDF.show()

    //TODO 3.关闭资源
    spark.stop()
  }

  //case class Person(id:Int,name:String,age:Int)

}

(4)RDD、DataFrame、DataSet相互转换

package com.jiang.sparksql

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}

/*
 * @param null
*
*  @Description: 将RDD、DataFrame、DataSet相互转换
*/
object Demo_RDD_DF_DS {

  def main(args: Array[String]): Unit = {

    //TODO 0.准备环境
    val spark: SparkSession = SparkSession.builder().appName("sparksql").master("local[*]").getOrCreate()
    val sc: SparkContext = spark.sparkContext
    sc.setLogLevel("WARN")

    //TODO 1.加载数据
    val lines: RDD[String] = sc.textFile("data/input/person.txt")


    //TODO 2.处理数据
    val personRDD: RDD[Person] = lines.map(line => {
      val arr: Array[String] = line.split(" ")
      Person(arr(0).toInt, arr(1), arr(2).toInt)
    })

    // 转换 RDD --> DF
    import spark.implicits._
    val personDF: DataFrame = personRDD.toDF()
    // 转换 RDD --> DS
    val personDS: Dataset[Person] = personRDD.toDS()
    // 转换 DF --> RDD 注意：DF转换RDD没有泛型，转为RDD时使用的是Row
    val df_rdd: RDD[Row] = personDF.rdd
    // 转换 DS --> RDD
    val ds_rdd: RDD[Person] = personDS.rdd
    // 转换 DF --> DS
    val ds: Dataset[Person] = personDF.as[Person]
    // 转换 DS --> DF
    val df: DataFrame = personDS.toDF()


    //TODO 3.输出结果
    personDF.printSchema()
    personDF.show()
    personDS.printSchema()
    personDS.show()

    //TODO 3.关闭资源
    spark.stop()
  }

  case class Person(id:Int,name:String,age:Int)

}