Hive SQL源码解析

Hive执行SQL的主要流程

流程
词法、语法解析: Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree

语义解析: 遍历AST Tree，抽象出查询的基本组成单元QueryBlock

生成逻辑执行计划: 遍历QueryBlock，翻译为执行操作树OperatorTree

优化逻辑执行计划: 逻辑层优化器进行OperatorTree变换，合并Operator，达到减少MapReduce Job，减少数据传输及shuffle数据量

生成物理执行计划: 遍历OperatorTree，翻译为MapReduce任务

优化物理执行计划: 物理层优化器进行MapReduce任务的变换，生成最终的执行计划。

源码步骤
查看hive源码Driver类，整个sql语句编译、执行的步骤，执行的入口方法是在Driver.run(String command)方法中。

第一步：调用runInternal方法

1  public CommandProcessorResponse run(String command, boolean alreadyCompiled)
2        throws CommandNeedRetryException {
3    CommandProcessorResponse cpr = runInternal(command, alreadyCompiled);
4    if(cpr.getResponseCode() == 0) {
5      return cpr;
6    }