Spark系列---SparkSQL(一)介绍与使用

SparkSQL前世今生

SparkSQL 1.0版本之前：Shark -> Hive on Spark
SparkSQL 1.0版本之后：SparkSQL
SparkSQL 1.3.X版本：SparkSQL+DataFrame
SparkSQL 1.5.X版本：SparkSQL+钨丝计划
SparkSQL 1.6.X版本：SparkSQL+DataFrame+DataSet
SparkSQL 2.0.X版本：SQL语法支持更加完整，而且性能更好

SparkSQL是什么

Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，SparkSQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。

    内部：SparkSQL使用这些额外的信息来执行额外的优化。与SparkSQL交互的方法有多种，包括SQL和DatasetAPI。
    计算结果是：将使用相同的执行引擎，而与要用来表达计算的API /语言无关。
    这种统一意味着开发人员可以轻松地在不同的API之间来回切换，从而提供最自然的方式来表达给定的转换。

SparkSQL的作用

      SparkSQL的一大用处就是执行SQL查询语句，SparkSQL也可以用来从Hive中读取数据，当我们使用其它编程语言来运行一个SQL语句，结果返回的是一个Dataset或者DataFrame.你可以使用命令行，JDBC或者ODBC的方式来与SQL进行交互。

SparkSQL的特点

1.多语言的接口支持
2.统一的数据访问
3.完全兼容Hive
4.支持标准的连接

SparkSQL运行原理

      将SparkSQL转化成RDD，然后提交到集群执行。

RDD

RDD的优点：
    1.Spark在RDD中内置许多函数操作group，map，filter等，方便处理结构化或非结构化数据。
    2.面向对象编程，直接存储的java对象，类型转化也安全

RDD的缺点：
    1.由于它基本和hadoop一样万能的，因此没有针对特殊场景的优化，比如对于结构化数据处理相对于sql来比非常麻烦
    2.默认采用的是java序列号方式，序列化结果比较大，而且数据存储在java堆内存中，导致gc比较频繁

DataFrame

DataFrame是一个分布式数据集，它具有RDD的优点（强类型输入，使用强大的lambda函数的能力）以及Spark SQL的优化执行引擎的优点，与常规的表格类似，并且记录数据的结构信息，即schema。

        数据集可以被构造从JVM对象，然后使用功能性的转换（操作map，flatMap，filter等等）。
        SparkSQL支持通过Da