Spark SQL解析过程
在Spark 2.0之后,Spark SQL使用Antlr 4来解析SQL表达式,其解析描述文件路径为spark源码根路径sqlcatalystsrcmainantlr4orgapachesparksqlcatalystparserSqlBase.g4, 比如下面的sql语句是如何转化成RDD的。
select name from person where age > 18
SQL执行流程:
不管解析被划分为几步,在Spark 执行环境中,都要转化成RDD的调用代码,才能被spark core所执行
那么这里面有个关键的点,就是查询的SQL , 怎么转化成未解析的逻辑计划;未解析的逻辑计划这个阶段接收的是抽象的语法树,所以我们需要知道的就是,这个SQL语句是就是通过Antlr4转成抽象语法树的;
Antlr4入门
1、下载Antlr4
链接地址:https://www.antlr.org/download/index.html
2、把下载的包放在安装目录
3、编写bat脚本,内容如下antlr4.bat
java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool %*
4、把安装目录添加到环境变量
5、构建maven项目,添加如下依赖
org.antlr antlr4-runtime 4.5.3
6、编写antlr文件,以g4结尾
grammar LearnAntlr ; // grammer是规则文件的头,要和文件名一样@header{ //header代表生成的代码放在哪个包里面package com.antlr4;}r : 'hello' ID; //r代表的是语法树的根结点ID : [a-z]+ ;WS : [ ]+ -> skip ; //ID代表未知的值
7、命令行进入antlrsrcmainjavacomantlr4>目录中,执行antlr4 LearnAntlr.g4,生成代码如下:
8、新建ListenerRewrite继承LearnAntlrBaseListener
public class ListenerRewrite extends LearnAntlrBaseListener { @Override public void exitR(LearnAntlrParser.RContext ctx) { final String a = ctx.getChild(0).getText().toLowerCase(); final String b = ctx.getChild(1).getText().toLowerCase(); System.out.println(a + " " + b); }}
9、词法和语法解析
public class TestAntlr4 { public static void main(String[] args) { //todo 输入 hello world ANTLRInputStream inputStream = new ANTLRInputStream(" hello world"); //todo 新建词法分析器 LearnAntlrLexer lexer = new LearnAntlrLexer(inputStream); //todo 新建一个词法符号的缓冲区,用于存储词法分析器生成的词法符号 CommonTokenStream tokenStream = new CommonTokenStream(lexer); //todo 新建一个语法分析器,处理词法符号缓冲区内容 LearnAntlrParser parser = new LearnAntlrParser(tokenStream); //todo 针对规则,开始语法分析 LearnAntlrParser.RContext context = parser.r(); //todo 构建监听器 ListenerRewrite listener = new ListenerRewrite(); //todo 使用监听器初始化对语法分析树的遍历 ParseTreeWalker.DEFAULT.walk(listener,context); }}
10、运行代码,输出hello world