spark Sql

一.概述

1 spark历史

前身: shark (即Hive on Spark)
        hive 进程维护 , shark 线程维护
新入口:SparkSession
RDD----->DataFrame------->Dataset
基本数据类型:Row,schema,StructType,StructField
支持: scala,Java python,R
shark:
	执行计划优化完全依赖于Hive，不方便添加新的优化策略；
	Spark是线程级并行，而MapReduce是进程级并行。
	Spark在兼容Hive的实现上存在线程安全问题，导致Shark
		不得不使用另外一套独立维护的打了补丁的Hive源码分支；
Spark SQL:
	作为Spark生态的一员继续发展，而不再受限于Hive，
	只是兼容Hive；Hive on Spark作为Hive的底层引擎之一
	Hive可以采用Map-Reduce、Tez、Spark等引擎

2 Spark-SQL 概述
2.1 特点
      1.  数据兼容：不仅兼容Hive，还可以从RDD、parquet文件、Json文件获取数据、支持从RDBMS获取数据
        2.性能优化：采用内存列式存储、自定义序列化器等方式提升性能；
       3. 组件扩展：SQL的语法解析器、分析器、优化器都可以重新定义和扩展
       4. 兼容: Hive兼容层面仅依赖HiveQL解析、Hive元数据。
从HQL被解析成抽象语法树（AST）起，就全部由Spark SQL接管了，Spark SQL执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责
       5. 支持: 数据既可以来自RDD，也可以是Hive、HDFS、Cassandra等外部数据源，还可以是JSON格式的数据；
Spark SQL目前支持Scala、Java、Python三种语言，支持SQL-92规范；

2.2 作用

1. Spark 中用于处理结构化数据的模块；
2. 相对于RDD的API来说，提供更多结构化数据信息和计算方法
3. 可以通过SQL或DataSet API方式同Spark SQL进行交互,

2.3 Spark SQL架构图<