从Spark源码分析如何使用antlr4解析SQL(一)

明确antlr4做了什么工作

1.有两个语法文件：SqlBaseLexer.g4和SqlBaseParser.g4这两个文件在Spark源码的目录是：

spark/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser

Spark SQL最新的源码地址：https://github.com/apache/spark/tree/master/sql​

2.两个语法文件的作用：Lexer用来规定所有的关键字；Parser用来规定SQL语句的具体解析顺序和规则。​

antlr4默认会生成一个递归访问器类，也可以自定义递归访问器。

Spark使用的是自定义递归访问器：AstBuilder.scala。

为什么是递归？
因为存储结构是抽象语法树结构。

什么是抽象语法树？
抽象语法树就是将Parser.g4规定的语法，生成一个使用深度优先算法递归的树形结构。

类似于语言转换中，将语法规则存储起来，用来生成其他代码，比如SQL转java代码、c语言代码等。

抽象语法树存储的是目标语言的方法(function)，根据目标语言不同，生成对应语言的语法的function。​

下一节《Spark源码追踪》，关注公众号，点点在看。

如有问题，请留言。