Spark SQL学习和使用

Spark SQL学习和使用

概述

SQL：类似于Hive，数据仓库（Data WareHourse）工具，简化Spark应用开发

http://spark.apache.org/docs/latest/sql-programming-guide.html

Spark SQL是Spark中一个模块，用以对结构化数据进行处理。SparkSQL在RDD之上抽象出来Dataset/Dataframe 这两个类提供了类似RDD的功能，也就意味用户可以使用map、flatMap、filter等高阶算子，同时也通过了基于列的命名查询，也就是说Dataset/DataFrame提供了两套操作数据的API，这些API可以给Saprk引擎要提供更多信息，系统可以根据这些信息对计算实现一定的优化。

目前Spark SQL提供了两种交互方式：1） SQL 脚本 ，2） Dataset API (strong-typed类型、untyped类型操作)

Datasets & DataFrames

Dataset

Dataset类似于Spark RDD，代表的是一个分布式数据集。Spark RDD数据进行序列化传输处理时，使用的是Java序列化方案； Spark SQL DataSet

数据在进行序列化传输处理时，使用的是Encoder编码器，Spark SQL针对于编码器进行了大量执行优化。

Dataset是在spark-1.6提出新的API，该API构建在RDD（strong type，使用lambda表达式）之上同时可以借助于Spark SQL对执行引擎的优点，使得使用Dateset执行一些数据的转换比直接使用RDD算子功能和性能都有所提升。因此我们可以认为Python does not have the support for the Dataset API.

DataFrame

开发时，建议使用DF API

DataFrame 是特殊的Dataset。概念类似于数据库表，DataFrame包含了数据(一行行记录Row)和表结构(Schema)； 通俗理解DataFrame 类似于Dataset[Row]

DataFrames 是Dataset的一种特殊情况。比如 Dataset中可以存储任意对象类型的数据作为Dataset的元素。但是Dataframe的元素只有一种类型Row类型，这种基于Row查询和传统数据库中ResultSet操作极其相似。因为Row类型的数据表示Dataframe的一个元素，类似数据库中的一行，这些行中的元素可以通过下标或者column name访问。由于Dateset是API的兼容或者支持度上不是多么的好，但是Dataframe在API层面支持的Scala、Java、R、Python支持比较全面。

总结：RDD —> Dataset （特殊的RDD）—> DataFrame（特殊的Dataset[Row]）

案列

依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.4.4</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.4.4</version>
    <!--集群中运行打开，本地运行注释-->
    <!--<scope>provided</scope>-->
</dependency>

开发应用

package quickstart

import org.apache.spark.sql.{
   Dataset, SparkSession}

/**
  * spark sql的入门案列
  */
object SparkSqlExample1 {
   
  def main(args: Array[String]): Unit = {
   
    // RDD sc
    // Streaming  ssc
    // SQL SparkSession

    // 1. 初始化spark sql的应用入口对象 SparkSession
    val sparkSession = SparkSession.builder().appName("spark sql first example").master("local[*]").getOrCreate()

    // 2. 导入Spark SQL隐式转换
    import sparkSession.implicits._

    // 3. 构建Spark SQL数据源
    // Spark Sql数据集  rdd.toDS
    val rdd = sparkSession.sparkContext.makeRDD(List(("Hello", 1), ("Scala", 1), ("Spark", 1), ("Hello", 1)))

    val dataset: Dataset[(String, Int)] = rdd.toDS() // 隐式增强

    // 4. dataset进行操作
    // 方法1：函数操作   select word,sum(count) from t_word group by word;
    /*
    dataset
      .where("_1 != 'Scala'")
      .groupBy("_1") // _1 代表的RDD 元素的第一值 单词
      .sum("_2") // _2 sum聚合
      .withColumnRenamed("_1", "word")
      .withColumnRenamed("sum(_2)", "num")
      .show() // 展示结果集
    */

    // 方法2：SQL操作
    dataset.createOrReplaceTempView("t_word") // 对dataset起表名或者视图名
    sparkSession
      .sql("select _1 as word,sum(_2) as num from t_word where _1 != 'Scala' group by _1 order by num asc")
      .show()
    // 5. 释放资源
    sparkSession.close()
  }
}

Spark SQL Dataset和DataFrame构建方法

Dataset

Dataset类似于RDD，不同的是Spark SQL有一套自己的序列化规范独立于Spark RDD（Java/Kryo序列化）之上称为Encoders(编码器)。不同于SparkRDD序列化，由于Dataset支持无类型操作，用户无需获取操作的类型，操作仅仅是列名，因为Spark SQL在执行算子操作的时候可以省略反序列化的步骤，继而提升程序执行效率。

通过scala集合（元组）创建

// 通过scala的集合(元组)构建Dataset
val dataset = List((1,"zs",true,1000),(2,"ls",false,2000)).toDS()
dataset
	.show()  // _1 _2 _3 _4
//-------------------------------------------------------------
+---+---+-----+----+
| _1| _2|   _3|  _4|
+---+---+-----+----+
|  1| zs| true|1000|
|  2| ls|false|2000|
+---&#