spark数据查询语句select_Spark学习之Spark SQL

Spark SQL

一、Spark SQL基础

1、Spark SQL简介

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL

为什么要学习Spark SQL？我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！同时Spark SQL也支持从Hive中读取数据。

Spark SQL的特点：

1.容易整合(集成)

2.统一的数据访问方式

3.兼容Hive

4.标准的数据连接

2、基本概念：Datasets和DataFrames

DataFrame

DataFrame是组织成命名列的数据集。它在概念上等同于关系数据库中的表，但在底层具有更丰富的优化。DataFrames可以从各种来源构建，

例如：

结构化数据文件

hive中的表

外部数据库或现有RDDs

DataFrame API支持的语言有Scala，Java，Python和R。

从上图可以看出，DataFrame多了数据的结构信息，即schema。RDD是分布式的Java对象的集合。DataFrame是分布式的Row对象的集合。DataFrame除了提供了比RDD更丰富的算子以外，更重要的特点是提升执行效率、减少数据读取以及执行计划的优化

Datasets

Dataset是数据的分布式集合。Dataset是在Spark 1.6中添加的一个新接口，是DataFrame之上更高一级的抽象。它提供了RDD的优点(强类型化，使用强大的lambda函数的能力)以及Spark SQL优化后的执行引擎的优点。一个Dataset可以从JVM对象构造，然后使用函数转换(map，flatMap，filter等)去操作。Dataset API支持Scala和Java。Python不支持Dataset API。

3、测试数据

使用员工表的数据，并已经将其保存到了HDFS上。

emp.csv

dept.csv

4、创建DataFrames

(*)通过Case Class创建DataFrames

①　定义case class(相当于表的结构：Schema)

注意：由于mgr和comm列中包含null值，简单起见，将对应的case class类型定义为String

②　将HDFS上的数据读入RDD，并将RDD与case Class关联

 

③　将RDD转换成DataFrames

④　通过DataFrames查询数据

(*)使用SparkSession

①　什么是SparkSession

Apache Spark 2.0引入了SparkSession，其为用户提供了一个统一的切入点来使用Spark的各项功能，并且允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序。最重要的是，它减少了用户需要了解的一些概念，使得我们可以很容易地与Spark交互。

在2.0版本之前，与Spark交互之前必须先创建SparkConf和SparkContext。然而在Spark 2.0中，我们可以通过SparkSession来实现同样的功能，而不需要显式地创建SparkConf, SparkContext以及SQLContext，因为这些对象已经封装在SparkSession中。

②　创建StructType，来定义Schema结构信息

注意，需要：import org.apache.spark.sql.types._

③　读入数据并且切分数据

④　将RDD中的数据映射成Row

注意，需要：import org.apache.spark.sql.Row

⑤　创建DataFrames

val df = spark.createDataFrame(rowRDD,myschema)

再举一个例子，使用JSon文件来创建DataFame

①　源文件：$SPARK_HOME/examples/src/main/resources/people.json

②　val df = spark.read.json("源文件")

③　查看数据和Schema信息

5、DataFrame操作

DataFrame操作也称为无类型的Dataset操作

(*)查询所有的员工姓名

(*)查询所有的员工姓名和薪水，并给薪水加100块钱

(*)查询工资大于2000的员工

(*)求每个部门的员工人数

完整的例子，请参考：