SQL 抽象语法树及改写场景应用
1 背景
我们平时会写各种各样或简单或复杂的 sql 语句,提交后就会得到我们想要的结果集。比如 sql 语句,”select * from t_user where user_id > 10;”,意在从表 t_user 中筛选出 user_id 大于 10 的所有记录。你有没有想过从一条 sql 到一个结果集,这中间经历了多少坎坷呢?
2 SQL 引擎
从 MySQL、Oracle、TiDB、CK,到 Hive、HBase、Spark,从关系型数据库到大数据计算引擎,他们大都可以借助 SQL 引擎,实现 “接受一条 sql 语句然后返回查询结果” 的功能。
他们核心的执行逻辑都是一样的,大致可以通过下面的流程来概括:
中间蓝色部分则代表了 SQL 引擎的基本工作流程,其中的词法分析和语法分析,则可以引申出 “抽象语法树” 的概念。
3 抽象语法树
3.1 概念
高级语言的解析过程都依赖于解析树(Parse Tree),抽象语法树(AST,Abstract Syntax Tree)是忽略了一些解析树包含的一些语法信息,剥离掉一些不重要的细节,它是源代码语法结构的一种抽象表示。以树状的形式表现编程语言的结构,树的每个节点 ASTNode 都表示源码中的一个结构;AST 在不同语言中都有各自的实现。
解析的实现过程这里不去深入剖析,重点在于当 SQL 提交给 SQL 引擎后,首先会经过词法分析进行 “分词” 操作,然后利用语法解析器进行语法分析并形成 AST。
下图对应的 SQL 则是 “select username,ismale from userInfo where age>20 and level>5 and 1=1”;
这棵抽象语法树其实就简单的可以理解为逻辑执行计划了,它会经过查询优化器利用一些规则进行逻辑计划的优化,得到一棵优化后的逻辑计划树,我们所熟知的 “谓词下推”、“剪枝” 等操作其实就是在这个过程中实现的。得到逻辑计划后,会进一步转换成能够真正进行执行的物理计划,例如怎么扫描数据,怎么聚合各个节点的数据等。最后就是按照物理计划来一步一步的执行了。