考虑到在CSDN,没有搜索到很多关于javacc的东西,绝对干货。
javacc概述
javacc概述
JavaCC 是一个词法分析生成器和语法分析生成器。 词法分析和语法分析是处理输入字符序列的软件构件, 编译器和解释器协同词法分析和语法分析来“解密” 程序文件。
javacc的获取:https://java.net/projects/javacc/downloads从此处下载了javacc 5.0 然后解压并在path环境变量中添加 解压后的bin目录即可。
词法分析器可以将字符串解析为一个一
个的标识符(Token), 并且可以把这些标识符归类。 看一段 C 语言代码:
int main() {
return 0 ;
}
- 1
- 2
- 3
- 1
- 2
- 3
经过C语言的词法分析会将代码分为如下的一些标识符
“int” , “ ” , “main” , “(” , “ )” ,“ ” , “{” , “ \n” ,“ \t” ,
“return” “ ” , “0” , “ ” , “;” , “ \n” ,“ }” , “ \n” , “ ”
- 1
- 2
- 1
- 2
还会进行分类,C语言的词法分析器会将其分为如下:
KWINT, SPACE, ID, OPAR, CPAR,
SPACE, OBRACE, SPACE, SPACE, KWRETURN,
SPACE, OCTALCONST, SPACE, SEMICOLON, SPACE,
CBRACE, SPACE, EOF。
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
EOF代表文件的结束。经过词法分析,将这些标识符传给语法分析器。在C语言中 SPACE(空格) 是不需要的。
语法分析器将生成语法树:
javacc的特性
javacc有几个重要的特性需要记住的:
-
使用递归下降语法解析,LL(k)。其中,第一个L表示从左到右扫描输入;第二个L表示每次都进行最左推导(在推导语法树的过程中每次都替换句型中最左的非终结符为终结符。类似还有最右推导);k表示的是每次向前探索(lookahead)k个终结符
-
词法规则,语法规则定义在同一文件中,就是.jj文件。
-
jjTree可以帮助更好的语法分析(因为好像没用过,不好说啊)
-
可定制生成的行为,如对字母的大小写是否敏感。不如设计数据库sql语句的时候应该使用关键字大小写不敏感。
-
更向前一步解决移进规约。当文法本身存在二义性的时候有时候通过设置lookahead为k能解决问题,带来的问题就是增加编译时间,所以最好的方法是修改二义性文法为无二义性文法。
执行的流程如下图所示:
javacc生成的类
通过执行javacc Adder.jj
命令以后(如果没有错误的话)生成了这个的七个Java文件。
他们是:
TokenMgrError:
简单的错误类,词法错误,实现了Throwable接口。
Token 类:
单词定义处;每个单词至少由一个int型的kind变量来标识单词的”ID” 和一个String类型的image变量来标识单词的具体内容。
ParseException:
语法异常类,实现Exception接口,通常出现这种情况就是解析器罢工了。
SimpleCharStream:
辅助类,用于输入字符串。可以接受InputStream类型和Reader类型的输入流。
AdderTokenManager:
Adder的词法分析器。
词法分析器有三个重要成员变量和方法:
AdderConstants:
含常量的辅助性接口。
Adder:
语法分析器。其中Adder中的方法来源于三个地方
-
写在PARSER_BEGIN和PARSER_END中的部分,即类声明部分的方法
-
写在语法结构部分的方法。
- 写在JavaCC中的方法。
贴出Adder.jj的代码
PARSER_BEGIN(Adder)
public class Adder{
public static void main(String[] args) throws ParseException, TokenMgrError{
Adder adder= new Adder(System.in);
System.out.println(adder.start());
}
}
PARSER_END(Adder)
SKIP:{
" "
| "\t"
| "\n"
| "\r"
| "\r\n"
}
TOKEN:{
<PLUS :"+">
|<NUMBER:(["0"-"9"])+>
}
int start() throws NumberFormatException:
{
Token a;
int i;
int value;
}
{
value=primary()
(
<PLUS>
i=primary()
{value += i;}
)*<EOF>
{return value;}
}
int primary() throws NumberFormatException:
{
Token t;
}
{
t=<NUMBER>
{return Integer.parseInt(t.image);}
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
则在Adder.java中则存在这样的几个函数:
如何组织.jj文件
如何写javacc语法文件,将在未来的另外博客中体现,这个部分是实现的过程中最重要的部分了。
主要有4个方面需要注意
-
语法分析器的属性设置
-
语法分析器的类声明
-
词法规则声明
-
语法规则实现
语法分析器的属性设置
options{
JDK_VERSION=1.5; //jdk版本
LOOKAHEAD=1;//LL(1)文法
static=true;//语法分析器是否为静态
}
- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
关于这个option有很多内容可以讲,由于一下子找不到资料,将在未来补充或者在另外一篇博客说明。
语法分析器的类声明
PARSER_BEGIN(Adder)
public class Adder{
public static void main(String[] args) throws ParseException, TokenMgrError{
Adder adder= new Adder(System.in);
System.out.println(adder.start());
}
}
PARSER_END(Adder)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
注意此处PARSER_BEGIN和PARSER_END应该与类声明一致即Adder
词法规则声明
/*跳过的字符*/
SKIP:{
" "
| "\t"
| "\n"
| "\r"
| "\r\n"
}
/*单词*/
TOKEN:{
<PLUS :"+">
|<NUMBER:(["0"-"9"])+>
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
语法规则实现
int start() throws NumberFormatException:
{
Token a;
int i;
int value;
}
{
value=primary()
(
<PLUS>
i=primary()
{value += i;}
)*<EOF>
{return value;}
}
int primary() throws NumberFormatException:
{
Token t;
}
{
t=<NUMBER>
{return Integer.parseInt(t.image);}
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
词法规则注意事项(举例)
局部词法分析
在词法声明部分,以#号开头的token只是在词法分析时使用,而不能做法语法分析的输入,也就是说。它相对词法分析是局部的,内部的。
防止词法定义失效
具有包含关系的词法定义,必须防止实现的情况,如果对于Key的声明必须定义在IDENTIFIER之前。这个问题最常见!!
举例:
Encountered "not ( employee" at line 3, column 43.Was
expecting one of:
<EOF>
<rpath> ...
"not" "(" ...
"not" "(" <rpath> ...
- 1
- 2
- 3
- 4
- 5
- 6
- 1
- 2
- 3
- 4
- 5
- 6
(1) Token定义:
<string:(["A"-"Z","a"-"z","0"-"9"])+>
<not:"not">
- 1
- 2
- 1
- 2
看上去,句子遇到 not 应该解析成 TOKEN not,其实不然,它会
被解析 TOKEN string.因为字符串 not 是符合 TOKEN string 的定义的,并
且在顺序上 TOKEN string 在前,所以先被匹配成 TOKEN string.如果将两
者的顺序更换一下,就能正确的解析成 TOKEN not 了
(2) 自定义变量导致的:
void test(): {int not=0;}
{
<not><leftb>key=<rpath><rightb>
{
not=1;
}
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
在这里,有一个自定义的变量名和 TOKEN not 名称一样。将 JJ 文件生成JAVA 类之后,你会发现,对于 TOKEN not显示的颜色,会跟其它的 TOKEN 不一样。这就是由于在 JAVA 类中,两个变量not 和 TOKEN not 二者冲突了。如果将这个变量名改为 no 或者其它的,TOKEN not 就能被正常解析了。
语法规则注意事项
语法部分决定了编译器的功能是否强大。
文法中没有每一个非终结符对应一个函数,函数调用表示非终结符之间的组成关系。
明确编译器的主要功能
-
语法分析阶段会存在二义性文法,在Eclipse代码中会有小黄三角,解决办法是个别冲突可以实现LOOKAHEAD(K)解决问题,比如在143行后加一个
LOOKAHEAD(1)
,最好的方法是修改为非二义性文法,具体看编译原理书吧。
添加语义规则
JavaCC采用自顶向下的语法分析,所以可以在文法的任意位置添加语义子程序
只需要在需要添加语义子程序的地方使用花括号即可;
需要注意的是在1处添加的语义子程序,往往是用来实例化变量的,这些变量将在语法分析过程中被使用。