SQL 抽象语法树及改写场景应用

SQL 抽象语法树及改写场景应用

1 背景

我们平时会写各种各样或简单或复杂的 sql 语句，提交后就会得到我们想要的结果集。比如 sql 语句，”select * from t_user where user_id > 10;”，意在从表 t_user 中筛选出 user_id 大于 10 的所有记录。你有没有想过从一条 sql 到一个结果集，这中间经历了多少坎坷呢？

2 SQL 引擎

从 MySQL、Oracle、TiDB、CK，到 Hive、HBase、Spark，从关系型数据库到大数据计算引擎，他们大都可以借助 SQL 引擎，实现 “接受一条 sql 语句然后返回查询结果” 的功能。

他们核心的执行逻辑都是一样的，大致可以通过下面的流程来概括：

中间蓝色部分则代表了 SQL 引擎的基本工作流程，其中的词法分析和语法分析，则可以引申出 “抽象语法树” 的概念。

3 抽象语法树

3.1 概念

高级语言的解析过程都依赖于解析树（Parse Tree），抽象语法树（AST，Abstract Syntax Tree）是忽略了一些解析树包含的一些语法信息，剥离掉一些不重要的细节，它是源代码语法结构的一种抽象表示。以树状的形式表现编程语言的结构，树的每个节点 ASTNode 都表示源码中的一个结构；AST 在不同语言中都有各自的实现。

解析的实现过程这里不去深入剖析，重点在于当 SQL 提交给 SQL 引擎后，首先会经过词法分析进行 “分词” 操作，然后利用语法解析器进行语法分析并形成 AST。

下图对应的 SQL 则是 “select username,ismale from userInfo where age>20 and level>5 and 1=1”;

这棵抽象语法树其实就简单的可以理解为逻辑执行计划了，它会经过查询优化器利用一些规则进行逻辑计划的优化，得到一棵优化后的逻辑计划树，我们所熟知的 “谓词下推”、“剪枝” 等操作其实就是在这个过程中实现的。得到逻辑计划后，会进一步转换成能够真正进行执行的物理计划，例如怎么扫描数据，怎么聚合各个节点的数据等。最后就是按照物理计划来一步一步的执行了。