Hive2.3.1笔记一：Hive简介、特点、应用场景、架构原理

1、什么是Hive？

Hive：由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析)。

Hive是基于Hadoop的一个数据仓库工具(服务性的软件)，可以将结构化的数据文件映射为一张表，并提供类似于SQL查询。

 本质是：将Hive SQL转化成MapReduce程序 或者 spark程序

1）Hive处理的数据存储在HDFS

2）Hive分析数据底层的实现是MapReduce / spark(分布式运算框架)

3）执行程序运行在Yarn上，即需要运行HDFS和YARN 

2、Hive的优缺点

优点：

1. 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
2. 避免了去写MapReduce，减少开发人员的学习成本。
3. Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。(历史数据)
4. Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
5. Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

缺点：

1．Hive的HQL表达能力有限

（1）迭代式算法无法表达 ，例如：递归算法

（2）数据挖掘方面不擅长

2．Hive的效率比较低

（1）Hive自动生成的MapReduce作业，通常情况下不够智能化

（2）Hive调优比较困难，粒度较粗(快)

3、应用场景

 对时效性要求不高的数据分析 , 报表分析等

4、架构原理

mysql记录元数据: hive表的数据映射 , 表结构

元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

执行顺序：

1 加载元数据信息  ,获取表结构 

2 元数据中获取表映射数据在HDFS中的位置

3 将SQL语句交给SQL解析引擎

4 Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等

5 操作符 Operator 是 Hive 的最小处理单元

6 每个操作符代表一个 HDFS 操作或者 MapReduce 作业

7 Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分 布式两种模式

8 编译器进行编译

（1）Parser：将 HQL 语句转换成抽象语法树（AST：Abstract Syntax Tree）

（2）Semantic Analyzer：将抽象语法树转换成查询块

（3）Logic Plan Generator：将查询块转换成逻辑查询计划

（4）Logic Optimizer：重写逻辑查询计划，优化逻辑执行计划

（5）Physical Plan Gernerator：将逻辑计划转化成物理计划（MapReduce Jobs）

（6）Physical Optimizer：选择最佳的 Join 策略，优化物理执行计划

9 优化器进行优化HQL语句

10 执行

简单一句话 , 将HQL语句转换成MR程序分布式调度执行