HIVE架构和原理

1.hive的架构简介

从上图可以看出，Hive的体系结构分为以下几部分：

1.用户连接接口
	CLI：是指Shell命令行
	JDBC/ODBC：是指Hive的java实现，与传统数据库JDBC类似。
	WebUI：是指可通过浏览器访问Hive
2.thriftserver:
hive的可选组件，此组件是一个软件架构服务，允许客户端使用包括Java，C++，Ruby和其他很多种语言，通过编程的方式远程访问Hive。
3.元数据
	Hive将元数据存储在数据库中，如mysql，derby。Hive中的元数据包括(表名，表所属的数据库名，表的拥有者，列/分区字段，表的类型(是否是外部表)，表的数据所在目录等)
4.驱动器（Driver）
	- 解析器(SQLParser)
		将HQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在，字段是否存在，SQL语义是否有误。
	- 编译器 (Compiler):
	对hql语句进行词法，语法的编译(需要跟元数据关联)，编译完成后会生成一个执行计划.hive上就是编译成mapreduce的job
	- 优化器（Optimizer）
	将执行计划进行优化，减少不必要的列，使用分区，使用索引等。优化job。
	- 执行器（Executer）
	将优化后的执行计划提交给hadoop的yarn上执行。提交job。
5.hadoop
	Jobtracker是hadoop1.x中的组件，它的功能Resourcemanager+AppMaster
	TaskTracker相当于：Nodemanager + yarnchild

注意：

- 包含*的全表查询，比如select * from table 不会生成MapReduce任务
- 包含*的limit查询，比如select * from table limit 3 不会生成MapReduce任务

2.Hive的工作原理

1.用户提交查询等任务给Driver。
2.驱动程序将Hql发送编译器，检查语法和生成查询计划
3.编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。
4.编译器Compiler得到元数据信息，对任务进行编译，先将HiveSQL转换为抽象语法树，然后将抽象语法树转成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce），最后选择最佳的策略
5.将最终的计划提交给Driver。到此为止，查询解析和编译完成。
6.Driver将计划Plan转交给Execution Engine去执行
7.在内部，执行作业的过程是一个MapReduce工作。执行引擎发送作业给JobTracker，在名称节点并把它分配作业到TaskTracker，这是在数据节点。在这里，查询执行MapReduce工作。
7.1与此同时，在执行时，执行引擎可以通过Metastore执行元数据操作。
8.执行引擎接收来自数据节点的结果。
9.执行引擎发送这些结果值给驱动程序。
10.驱动程序将结果发送吗给Hive接口。