Spark学习笔记二：Spark.SQL

一、Spark.Sql简介

Spark.sql是Spark四大组件之一，是Spark数据处理中用的最多的组件。SparkSQL在SparkCore的基础上对外提供了SQL接口，可以让熟悉SQL的技术人员快速上手。其编程入口为SparkSession。

.SparkSQL所有的内容位于pyspark.sql这个模块下，包含了SparkSession、Column、Row等众多的核心内容。SparkSQL是面向结构化数据的利刃，处理表格如常规的关系型数据库一样，不管是提供的丰富的API还是执行的效率上，都有很大的优势。

不过对于非结构化的数据，还得借助RDD来进行基本的处理。

DataFrame是SparkSQL的利器，它是一个类似于Pandas中的DataFrame的表格对象，当然其底层是基于了RDD的，最终的计算还是需要转换成RDD来进行STAGE划分的阶段的。它在RDD的基础上提供了表格如column、Row、索引等信息，已经有结构化的数据信息，因此使用基于DataFrameAPI编写的Spark程序在性能上肯定要优于基于RDD编写出来的程序。另外一个优势是他可以使的只会SQL的程序员可以非常容易上手使用。

之前SparkSQL这个模块是基于HIVE的SQL解析器的，因为不好优化，随时SPARK的发展，Spark团队重新开发了Spark特有的SQL解析器，使得SparkSQL在性能与灵活性更进一步，当然SparkSession中builder上有一个方法可以设置启用对HIVE查询的支持，从而使得SPARK可以方便的查询HIVE数据库中的数据

按官方说法SparkSql底层使用了Catalyst优化器对SQL语句进行优化，Tungsten对CPU和Memory的优化，从而使得SparkSQL的执行速度进一步提升。

二、技术细节

1、编程入口

要编写SparkSQL程序必须通过SparkSession对象，这个类中有个builder方法，可以实例化一个SparkSession对象

from pyspark.sql import SparkSession
spark   = SparkSession.builder.master("spark://hadoop-maste:7077").appName("test").config("spark.xxxx.conf", "some-value")
.getOrCreate()

master用于指定spark集群地址、appName用于设置app的名称；config中以key，value的形式进行一些配置config可以以链式编程的方式多次调用，每次调用可设置一组key，value配置。

而且conf中还可以传入一个关键字参数conf，指定外部的SparkConf配置对象getOrCreate，若存在sparksession实例直接返回，否则实例化一个sparksession返回

enableHiveSupport()启用对hive的支持，pyspark.sql. HiveContext (sparkContext, jhiveContext=None)，用于整合Hive
数据仓库的，读取Hive表格需要借助HiveContext。

这些配置可以通过SparkSession上的conf属性来获取，这个conf实际上就是RuntimeConfig对象，通过conf上的get方法获取对应的配置和通过spark.sparkContext.getConf().get获取配置是类似的

 

2、创建DataFrame

createDataFrame (data, schema=None, samplingRatio=None, verifySchema=True)这个方法。可以使用RDD或则python list获取pandas.DataFrame来创建。当schema被指定的时候，每个列的类型将会通过列来进行推断。samplingRatio指定用于类型推断的样本的比例，verifySchema验证每行的数据类型是否符合schema的定义。

从上面的创建方法可以知道 ，创建一个DataFrame必须要一个data也就是value值，这里的data也是可以是外部数据，还有一个就是schema信息表示列信息与类型，所以只要我们指定了相关value与schema就可以创建。

举例：使用list-tuple来创建

I = [('TOM',11),('LIYUE',12)]
spark.createDataFrame(I,schema=['name','age']).collect()

像上述例子，如何你不指定schema信息，系统会自动推断，会给自动加默认的schema信息。

通过RDD构建Row对象也是可以直接创建的：

from spark.sql import Row
user = Row('name','age')
a = [('Tom',11),('liyue',12)]
rdd = sc.parallelize(a,3)
user = rdd.map(lambda x: Row(*x))
df = spark.createDataFrame(user)

df.collect()

其他创建方法如：range方法创建列标签返回df、read方法读取外部数据源创建DataFrame，readstream方法读取stream流数据来创建等

3、如何查询DataFrame的数据

我们可以操作类似PANDAS的dataframe方式操作sparksql的dataframe的，但sparksql有个就去sql可以使用我们就像查询关系型数据库那样使用SQL语句来查询，可以使用show来显示

有时候我们查询的结果希望按照自己的方式，自定义 一个函数，UDF，pyspark也是支持UDF的，但总是另人诟病效率低下。

4、重要方法与对象

其实 dataframe作为RDD上的高级对象，很多RDD有的个方法他也是有的，有些他没有方法也可以通过转换成RDD来使用。

重要的方法有：createOrReplaceTempView创建一个本地的临时视图、cache、coalesce重分区等。。。。。

重要的对象：

GroupeData 对象，它是由方法groupBy()方法创建的，提供了DataFrame上用于数据聚合的系列方法。如agg(),apply(),avg(),count(),max(),min(),sum()等。。。。

Column对象：它代表的DataFrame的列的信息，提供了一些对列操作的方法

ROW对象：它代表了DataFrame的行

Catalog对象：此对象包含了SPARKSQL中的表与数据仓库状态的方法,如：iscached()，cachetalbe(),删除临时表droptempview、设置数据库等。。。。。。。。。。。

三、其他专项探索

1、在数据处理空值的处理很普通，SPAKRSQL是如何处理的

有一个对象：DataFrameNaFunctions，它就是处理NA数据的，如何使用？只要dataframe.na就可以引用它了。

2、统计模块

DataframeStatFunctions提供了很多DATAFRAME用于统计 的方法，通过dataframe.stat来引用

3、DataFrameReader与DataFrameWriter

我们在dataframe.read去读取数据时其实就是引用DataFrameReader来读取的，DataFrameReader是dataframe用于读取外部数据 的接口，有read就write，所以写数据就用DataFrameWriter

4、数据类型

dataframe有哪些数据类型？都在spark.sql.types模块中，可以dir一下看看

5、函数模块

sparksql提供了一个functions模块spark.sql.functions，里面实现了很多有用的方法，可以直接拿来用就行。

6、性能调优

先MARK一下，以后再来说