流式数据采集和计算（十七）：SparkSQL与即席查询

目录

Spark SQL

Shark和Spark SQL

DataFrame和RDD

DataFrame的创建

RDD转换DataFrame

Spark-sql即席查询

---

Spark SQL

Shark和Spark SQL

Shark的出现，使得SQL-on-Hadoop的性能比Hive有了10-100倍的提高,但Shark的设计导致了两个问题： 

• 一是执行计划优化完全依赖于Hive，不方便添加新的优化策略 
• 二是因为Spark是线程级并行，而MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的打了补丁的Hive源码分支 ；

Spark SQL在Hive兼容层面仅依赖HiveQL解析、Hive元数据，也就是说，从HQL被解析成抽象语法树（AST）起，就全部由Spark SQL接管了。Spark SQL执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责 ；