Hive(五) -- Hive执行流程、数据倾斜和优化

一、Hive的执行流程

1. Hive执行过程分析：

• Hive 将 HQL 转换成一组操作符(Operator)，比如 GroupByOperator, JoinOperator 等

• 操作符 Operator 是 Hive 的最小处理单元

• 每个操作符代表一个 HDFS 操作或者 MapReduce 作业

• Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分布式两种模式

Hive操作符列表

 Hive 编译器的工作职责:

• Parser:将 HQL 语句转换成抽象语法树(AST:Abstract Syntax Tree)
• Semantic Analyzer:将抽象语法树转换成查询块
• Logic Plan Generator:将查询块转换成逻辑查询计划
• Logic Optimizer:重写逻辑查询计划，优化逻辑执行计划
• Physical Plan Gernerator:将逻辑计划转化成物理计划(MapReduce Jobs)
• Physical Optimizer:选择最佳的 Join 策略，优化物理执行计划 

2、Join

        对于join操作：

SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON pv.userid = u.userid;

实现过程：        

Map:   

           1、以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的组合

           2、以 JOIN 之后所关心的列作为 Value，当有多个列时，Value 是这些列的组合。在 Value                 中还会包含表的 Tag 信息，用于标明此 Value 对应于哪个表

           3、按照 Key 进行排序

Shuffle:

           根据 Key 的值进行 Hash，并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中

Reduce:

           Reducer 根据 Key 值进行 Join 操作，并且通过 Tag 来识别不同的表中的数据