Hive代码分析报告（十一）：HQL提交到编译解析过程梳理①

2021SC@SDUSC

目录

概述

HIVE的组成层次

从用户接口提交到进入编译解析

---

概述

前面的文章中，我们小组通过对代码的阅读和分析以及查阅资料，简单分析了HIVE中HQL语句从输入命令行（用户接口）到进入编译（语义分析）的简单流程。这里我汇总一下前面的分析内容，对HIVE的前两个主要流程进行梳理。

HIVE的组成层次

Hive 主要分为三个层次：
1. Interfaces：这是Hive 对外提供的使用接口
主要包括命令行接口、web 接口、基于thrift 协议的服务接口、基于JDBC/ODBC 协议的数据库接口。
2. Query Engine（Driver）：这是Hive 的核心，也就是所说的引擎
3. Hadoop：这一部分其实并不包含在Hive 之中，它是HIVE 存储/计算的实际的载体

这三个层次之间的主要交互是：Interfaces 将字符串形式的HQL 语句传递给QueryEngine 中的编译器；编译器将plan.xml 传递给运行时；运行时反序列化plan.xml，执行其中指定的任务，并将Job 提交给Hadoop。当然，除了MapReduce 任务之外，任务也可能是本地任务、元数据任务、hdfs 任务。

从用户接口提交到进入编译解析

hive源码的入口是CliDriver类，这个类中的main方法调用了run方法执行HQL语句。

run中的主要代码：
1: 创建OptionsProcessor对象解析hive执行前的可选参数
2: 创建CliSessionState对象ss，创建过程中会把hive配置文件中的一些配置参数加载进来
3: 获取 HiveConf 对象 conf，并进行一些配置项的加载
4: 执行 executeDriver 方法执行HQL语句，而这个方法中使用了两个主要的方法进行语句执行：processLine 和 processFile 方法。

processFile（）

processFile 中最主要的代码如下：
rc = processReader(bufferReader);

public int processReader(BufferedReader r) throws IOException {
  String line;
  StringBuilder qsb = new StringBuilder();
  while ((line = r.readLine()) != null) {
    // Skipping through comments
    if (! line.startsWith("--")) {
      qsb.append(line + "\n");
    }
  }
  return (processLine(qsb.toString()));
}

我们可以看到其实 processReader 只是把文件读进来，去掉注释语句，然后对其调用processLine 方法。

而processLine 会把我们写的所有SQL语句用分号; 拆开然后对每一句执行 processCmd方法，有一句不成功就会返回失败。

public int processLine(String line, boolean allowInterrupting) {
   ...............
   // we can not use "split" function directly as ";" may be quoted
   int lastRet = 0, ret = 0;
   List<String> commands = splitSemiColon(line);
   String command = "";
   for (String oneCmd : commands) {
     if (StringUtils.endsWith(oneCmd, "\\")) {
       command += StringUtils.chop(oneCmd) + ";";
       continue;
     } else {
       command += oneCmd;
     }
     if (StringUtils.isBlank(command)) {
       continue;
     }
     ret = processCmd(command);
     command = "";
     lastRet = ret;
   }

proc的获取是通过processCmd获取的，其中tokens是一句SQL语句用空白符分隔开的字符串数组（即组成SQL的一个一个词组成的数组）
CommandProcessor proc = CommandProcessorFactory.get(tokens, (HiveConf) conf);
接着，getForHiveCommand(cmd, conf)这个方法中就简单调用了 getForHiveCommandInternal 方法

可以看到该方法能根据不同SQL得到不同的CommandProcessor对象proc。

接着就是执行DRIVER的run方法了，而这个的run方法中可以看出最终执行的是 runInternal 这个方法

从Driver中的run方法可以看出Hive中SQL的执行主要分两步，第一步先对SQL进行解析，第二步执行解析后的SQL。

run()方法的具体流程：
1. 初始化errorMsg 和SQLState 为null；
2. 调用compile(cmd)完成对HQL cmd 的编译，生成执行计划plan；
3. 调用acquireReadWriteLocks()获取plan 中输入输出需要的读写锁；
4. 调用execute()执行plan；
5. 释放Context ctx 中记录的已经获取的锁；
6. 返回带有0 错误码的CommandProcessorResponse；
注意，在2、3、4 中，如果有任何一步失败（返回值不为0），都会释放ctx 中已经获取的锁，并将返回带有非0 错误码的CommandProcessorResponse。

以上就是HQL语句从用户接口提交后进入编译阶段的简单过程梳理，下一篇我将继续梳理查询引擎对HQL进行解析的过程。这也是前面我主要分析的内容。