Hive基于Hadoop上的HDFS和MapReduce,提供了一个类SQL语言的数据仓库方案。
Hive的设计目标
- 解决关系型数据库的计算时间的瓶颈
- 解决MR编程模型和接口偏“底层”的问题
Hive架构
Hive架构主要分为三个部分。
第一部分: 对外接口
- Hive支持命令行、web界面、以及jdbc和odbc驱动
- jdbc和odbc驱动是通过Hive提供的Thrift Service, 来和hive进行通信
- 这些接口将外部提交的HQL, 交给了Hive的核心模块,也就是驱动器
第二部分: 驱动器
驱动器又包含:编译器、优化器,执行引擎和DAG(有向无环图)
- 编译器
编译器会把HQL编译成一个逻辑计划,也就是解析sql。
- 优化器
优化器拿到逻辑计划后,根据MapReduce任务的特点进行优化。变成一个物理计划。
比如多表join操作的时候,一个join会生成一个MR任务,但是如果key相同,优化器会自动优化为一个MR任务。
- 执行引擎和DAG
上一步生成的物理计划,会通过一个执行引擎,比如Hadoop的MR,来按照顺序执行。
第三部分: Metastore
- Metastore用来存储Hive里的各种数据,包括表的名称、位置、列的名称、类型以及分区等信息。
- Metastore,通常习惯用中心化的关系型数据库,比如Mysql进行存储
- 驱动器里的各个模块,也需要通过metastore里面的数据,来确定解析HQL的时候,字段是否合法。以及确认最终执行计划的时候,从哪些目录读取数据。