antlr lexer二次开发实例

2019独角兽企业重金招聘Python工程师标准>>>

使用antlr来进行词法分析,简单快速.本例子基于antlr3.

目标:

解析如下语句

load abc/abcd
  as  test1;
load abd as test2;
{[
begin:
select * from test1;
end;
]};

store to ddd;

其中分为三部分,

load子句,原来的sql子句,store 子句.

根据需求编写xxx.g文件,编写过程中需要注意:

1 可以使用@number来声明保存解析出来的字符串的内容.

2在定义语句时,可以使用var=LAB的方式,在接下来的大括号中,直接使用java代码方式将结果写入到第一步声明的变量中.

下面给出完成的代码:

lexer grammar ExtendSQL;
options{
filter=true;
}
@members{
    private java.util.Map<String,String> params;
    public ExtendSQL(CharStream input,java.util.Map<String,String> params){
        this(input);
        this.params=params;
    }
}
fragment
LoadSeg    :    'load' WS pi=PATH WS 'as' WS i=ID WS?';'{
    String inputs=null;
    if(!(null==params.get("inputs")||params.get("inputs").length()==0)){
        inputs=params.get("inputs")+";";
    }else{
        inputs="";
    }
    params.put("inputs",(inputs+pi.getText()+","+i.getText()));
};
fragment
SQLSeg    :    '{[' m=ANY ']};'{
    String str=m.getText();
    int start=str.indexOf("begin:");
    int end=str.indexOf("end;");
    if(start<end){
        params.put("sql",str.substring(start+6,end));
    }
};
fragment
ANY    :    WS? 'begin:'.*'end;'WS?;
fragment
SaveSeg    :    'store to' WS po=PATH WS?';'{
    params.put("output",po.getText());
};
fragment
WS    :    (' ' |'\t' |'\r' |'\n' )+;
fragment
ID     :     ('a'..'z' |'A'..'Z' |'_' ) ('a'..'z' |'A'..'Z' |'_' |'0'..'9' )*;
fragment
FILENAME:    ('.' | '..' |ID);
fragment
PATH    :    ('hdfs://' |'file://' |'/')?  (FILENAME '/'?)+;
fragment
CLASSNAME
    :    ID ('.' ID)*;
//fragment
Exit    :    (LoadSeg EOF)+ |SQLSeg EOF |(SaveSeg EOF);
fragment
EOL: '\n' | '\r' | '\r\n';

 

验证的java代码如下:

 public static void main(String[] args) {
        System.out.println("Hello world");

        try {
            String filename = "src/main/resources/errsql1.out";
            InputStream in = new FileInputStream(filename);
            ANTLRInputStream input = new ANTLRInputStream(in);
            Map<String, String> paras = new HashMap<String, String>();
            ExtendSQL lexer = new ExtendSQL(input, paras);
            CommonTokenStream tokens = new CommonTokenStream(lexer);
            tokens.fill();
            for (String key : paras.keySet()) {
                System.out.print(key+":");
                System.out.println(paras.get(key));
            }
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

 

转载于:https://my.oschina.net/u/937015/blog/757432