hive之SQL解析器Antlr简单学习总结。

HIVE的sql解析通过鼎鼎大名的ANTLR完成,具体细节可以在http://www.antlr.org/详细了解，这里只整理一些自己的小心得。

1.       终结符首字母大写，非终结符首字母小写

2.       Antlr的LL文法不支持左递归，需要消除文法中的左递归。

3.       代码优先级采用highOpExpr: lowOpExpr op lowOpExpr的方式解决。

 

具体实例：

1.算子优先级问题解决：

解析如下算数表达式： 5+3*4

 

NUM:'0'..'9'('0'..'9')*;

LEFT:'(';

RIGHT:')';

ADD:'+';

MULTI:'*';

 

statement:

         addStatement;

        

addStatement:

         multiStatement ADD multiStatement;

        

multiStatement:

         NUM

         | NUM MULTI NUM;

 

这样就解决了算子优先级问题。

 

2. 嵌套问题解决

解析如下算数表达式

3+(5*(6+2)+2*(4+8))*(6+2)

 

括号优先级比乘法算子高，乘法优先级比加法高，而括号中有嵌套了加法和乘法表达式。

 

NUM:'0'..'9'('0'..'9')*;

LEFTBRACKET:'(';

RIGHTBRACKET:')';

ADD:'+';

MULTI:'*';

WS : (' ' |'\t' |'\n' |'\r' )+ {skip();} ;

 

start         :       

         addStatement;

addStatement:

         multiStatement ( ADD^ multiStatement )*;

        

multiStatement:

         expr ( MULTI^ expr )*;

        

expr:

         NUM|

         LEFTBRACKET! addStatement RIGHTBRACKET!;

 

在子句中引用上层元素,达到了实现嵌套语句目的的同时也消除了左递归问题.

 

整理LL(1)文法编译器简单过程描述。

1.       通过FIRST几个何FOLLOW集合构建预测分支表。

2.       构建辅助栈Stack

3.       将最终的非终结符S入栈Stack

4.       从栈Stack弹出一个元素e。

5.       读取token数据流，得到一个tokenA。

6.       弹出的元素e如果为非终结符NotTerminal，从预测分支表中以NotTerminal和tokenA为主键查询此NoTerminal的构成式并从右向左依次压入堆栈，如果栈顶还是非终结符，弹出该非终结符继续从预测分支表中查询构成式，并从右向左依次压入堆栈，循环此逻辑直到栈顶为终结符，则弹出栈顶元素与元素e比对，如果不同则保错退出。

7.       如果弹出的元素e为终结符，和tokenA进行对比，如果不相等则保错。

8.       继续步骤4，直到栈Stack为空。

 

LL文法主要过程就是从最终的非终结符开始，不断将最左边也就是栈顶的非终结符用产生式进行替换，针对LL(k)的文法过程中一个非终结符+一个token可能会出现多个产生式，需要采取回溯的方式找到最合适的匹配。

 

而针对大部分SQL语句，基本上LL(1)文法就可以描述，因为每个语句元素，通过SQL语句中的第一个词就可以判断出该子句具体是什么操作，比如 SELECT GROUP BY WHERE JOIN等。