Spark on hive & Hive on spark

Spark on hive & Hive on spark

Hive 架构与基本原理

Hive 的核心部件主要是 User Interface（1）和 Driver（3）。而不论是元数据库（4）、存储系统（5），还是计算引擎（6），Hive 都以“可插拔”的方式交给第三方独立组件。

Hive sql查询工作流程：

• 接收到 SQL 查询之后， Hive 的 Driver 首先使用其 Parser 组件，将查询语句转化为 AST（Abstract Syntax Tree，查询语法树）。

• Planner 组件根据 AST 生成执行计划，而 Optimizer 则进一步优化执行计划。要完成这一系列的动作，Hive 必须要拿到相关数据表的元信息，比如表名、列名、字段类型、数据文件存储路径、文件格式，等等；元信息存储在“Hive Metastore”（4）的数据库中。

Hive Metastore 是一个普通的关系型数据库（RDBMS），它的作用：

• 辅助SQL 语法解析、执行计划的生成与优化；
• 帮助底层计算引擎高效地定位并访问分布式文件系统中的数据源；

Spark on hive

Spark on Hive是spark做sql解析并转换成RDD执行，hive仅仅是做为外部数据源

Spark SQL 对 SQL 查询语句先后进行语法解析、语法树构建、逻辑优化、物理优化、数据结构优化、以及执行代码优化，等等。然后Spark SQL 将优化过后的执行计划，交付给 Spark Core执行引。

Hive on spark

“Hive on Spark” 指的是 Hive 采用 Spark 作为其后端的分布执行引擎。

Hive on Spark 是由 Hive 的 Driver 来完成 SQL 语句的解析、规划与优化，还需要把执行计划“翻译”成 RDD 语义下的 DAG，然后再把 DAG 交付给 Spark Core执行。【Spark on hive是由Spark SQL + Spark Core执行，性能更好】