Hive--HQL的转换过程

Hive–HQL的转换过程

一：Hive的执行过程概述：

• Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等
• 操作符 Operator 是 Hive 的最小处理单元
• 每个操作符代表一个 HDFS 操作或者 MapReduce 作业
• Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分 布式两种模式

操作符列表

Hive 编译器的工作职责：

• Parser：将 HQL 语句转换成抽象语法树（AST：Abstract Syntax Tree）
• Semantic Analyzer：将抽象语法树转换成查询块
• Logic Plan Generator：将查询块转换成逻辑查询计划
• Logic Optimizer：重写逻辑查询计划，优化逻辑执行计划
• Physical Plan Gernerator：将逻辑计划转化成物理计划（MapReduce Jobs）
• Physical Optimizer：选择最佳的 Join 策略，优化物理执行计划

优化器的类型：

​ 带①符号的，优化目的都是尽量将任务合并到一个 Job 中，以减少 Job 数量，带②的 优化目的是尽量减少 shuffle 数据量

二：具体转化过程

1）join

SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON pv.userid = u.userid;

实现过程：

Map：

1. 以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的组合
2. 以 JOIN 之后所关心的列作为 Value，当有多个列时，Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息，用于标明此 Value 对应于哪个表
3. 按照 Key 进行排序

Shuffle：

1. 根据 Key 的值进行 Hash，并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中

Reduce：

1. Reducer 根据 Key 值进行 Join 操作，并且通过 Tag 来识别不同的表中的数据,这里page_view只能提供给pageid,user只能提供age,所以需要两表连接，当经历过shuffle过程之后，value中的数据都是属于同一个key的,所以只需要对tag值不同的value值进行join即可

注意：在hive中执行join，当较小表在一定的范围内(set hive.mapjoin.smalltable.filesize=25000000,大约是23.8M)执行的是Mapjoin,其他的执行的是reducejoin;

2）group by

SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age;

类似于join的执行流程，将group by 后面的字段作为key,将group by前面的聚合函数作为value;key值相同的，value加一；shuffle过程中，key值相同的归在一起，有几个key值相同的，value加几；

3）distinck

SELECT age, count(distinct pageid) FROM pv_users GROUP BY age;//按照age分组，统计每个组中不重复的pageid有多少个