mysql词法分析antlr4_ANTLR4 RegEx词法分析器模式

这里是一个快速演示如何使用ANTLR4的词法模式创建一个上下文敏感的词法分析器：

lexer grammar RegexLexer;

START_CHAR_CLASS

: '[' -> pushMode(CharClass)

;

START_GROUP

: '('

;

END_GROUP

: ')'

;

PLAIN_ATOM

: ~[()\[\]]

;

mode CharClass;

END_CHAR_CLASS

: ']' -> popMode

;

CHAR_CLASS_ATOM

: ~[\r\n\\\]]

| '\\' .

;

生成词法分析器后，您可以使用以下类来测试它：

import org.antlr.v4.runtime.ANTLRInputStream;

import org.antlr.v4.runtime.Token;

public class Main {

public static void main(String[] args) {

RegexLexer lexer = new RegexLexer(new ANTLRInputStream("([()\\]])"));

for (Token token : lexer.getAllTokens()) {

System.out.printf("%-20s %s\n", RegexLexer.VOCABULARY.getSymbolicName(token.getType()), token.getText());

}

}

}

如果您运行此Main类，则会将以下内容打印到您的控制台：

START_GROUP (

START_CHAR_CLASS [

CHAR_CLASS_ATOM (

CHAR_CLASS_ATOM )

CHAR_CLASS_ATOM \]

END_CHAR_CLASS ]

END_GROUP )

如您所见， ( 和 ) 在字符类之外被标记为不同，因为它们位于字符内部 .