ANTLR教程(二)词法分析

目录

• 1. 匹配大小写字符组成的单词
• 2. 产生式中语法规则中关键字也用到了单词，与词法规则冲突，谁先匹配
• 3. 匹配数字
• 4. 匹配带引号的字符串
• 5. 匹配到字符串后丢掉，不要送给语法分析器
• 6. 划分词法分析器和语法分析器的界限

本节讲解antlr词法分析的功能。

匹配大小写字符组成的单词

ID : [a-zA-Z]+ ; */ match 1-or-more upper or lowercase letters
ID : (‘a’..’z’|’A’..’Z’)+ ; /* match 1-or-more upper or lowercase letters

产生式中语法规则中关键字也用到了单词，与词法规则冲突，谁先匹配

grammar KeywordTest;
enumDef : ‘enum’ ‘{’ … ‘}’ ; //词法规则ID也可以匹配enum
…
FOR : ‘for’ ;//词法规则ID也可以匹配for
…
ID : [a-zA-Z]+ ; // does NOT match ‘enum’ or ‘for’

规则ID也能够匹配关键字，例如enum和for，这意味多余一个规则可以匹配相同的字符串。
ANTLR收集分割所有的字符串，语法规则。enum被词法规则ID匹配，立即送入语法规则enumDef。

ANTLR词法器消除词法规则间歧义，通过声明规则的次序。这意味着ID规则应当在所有关键字之后，就像 rule。

匹配数字

INT : ‘0’..’9’+ ; // match 1 or more digits
or
INT : [0-9]+ ; // match 1 or more digits

匹配带引号的字符串

STRING : ‘”’ .*? ‘”’ ; // match anything in “…”

允许字符串中出现引号
STRING: ‘”’ (ESC|.)*? ‘”’ ;
fragment
ESC : ‘\\”’ | ‘\\\\’ ; // 2-char sequences \” and

匹配到字符串后丢掉，不要送给语法分析器

将注释去掉
LINE_COMMENT : ‘/’ .*? ‘\r’? ‘\n’ -> skip ; / Match “*/” stuff ‘\n’
COMMENT : ‘/*’ .*? ‘**’ -> skip ; / Match “/* ” stuff “*”

划分词法分析器和语法分析器的界限

1. 语法分析器中需要匹配，然后丢弃的东西。语法分析器需要见到的东西。
   例如，空白，注释。
   如果不丢弃，那么语法分析器就会去检测记号之间是否有空白或者注释。
2. 词法分析器中匹配一般的记号
   例如，identifiers,keywords,strings,andnumbers。
   这部分工作如果交给语法分析器会产生额外的开销，因此不能交给语法分析器。
3. 将语法分析器不需要区分的多个记号，组合成一个词法记号。
   例如，如果应用等同处理整型和浮点类型，可以将他们组成记号类型 NUMBER。不需要单独处理，交给语法器。
4. 将语法分析器需要区分的多个记号，词法记号需要向语法器提供不同的记号。
   例如id地址，如果需要识别4个字段，就不能只提供一个大字符串