【antlr4】使用antlr4构造我的语法树

1.概述

转载：使用antlr4构造我的语法树

编译器的前端和后端。前端指的是编译器对程序代码的分析和理解。前端阶段只与语言的语法有关，而和目标机器无关。后端则是生成目标机器的目标代码有关。第一节说说编译器的前端技术。

编译器将一般会将词法和语法解析器分开实现。

2.词法（Lexer）

英语一般用空格和标点将单词隔开，但是在计算机，仅仅用空格和标点分割是不够的。比如“a!=5“。

词法规则玩玩是用类似于正则语法的表达式生成“有限状态机”算法，并根据这些算法切割出token。

词法规则负责从输入读取，并解析成一个个token符号。为了方便，antlr一般将这些token编号用数字表示。

词法规则

antlr语法表示规则，查看以下example：

INTERGER: DIGIT+
          |'0'[Xx] HEX_DIGIT+
          ;

一个分号";"表示结束
一个标识符必须是全大写：
一个冒号表示开始
一个"|"表示可选

可用的选项还有，类似于正则文法。

词法	意义
A	匹配A
A B	匹配A紧接着匹配B
(A|B)	匹配A或者B
‘text’	匹配text字符串
A?	A出现0次或者1次
A+	A出现1次或者多次
A*	A出现0次或者多次
[A-Z0-9]	在范围内的字符或数字
‘a’..'z'	类似于[a-z]，另一种表达
-[A-Z]	不匹配[A-Z]的字符
.	任意字符

2. 显式词法

以大写字母开头。或者是有名的词法规则。

比如说PROJECT: "antlr4_code_gen"

2.2 匿名隐式词法

他的位置在于parser之后，但是在显式词法之前。一般都是以“T__数字”表示。比如说这个匿名的词法代表着一个冒号的token。

2.3 fragment:分片表示

INTERGER: DIGIT+
          | '0' [Xx] HEX_DIGIT+
          ;
fragment DIGIT: [0-9];
fragment HEX_DIGIT: [0-9A-Fa-f];

2.4 词法的优先级

匹配遵循以下的优先级准则：

匹配输入的最多字符串的那个词法
如果是特殊字符比如“{”，“”:”，那么使用隐式语法匹配
如果匹配多个词法，则选按先后顺序找最先匹配到的那个

2.5 词法的命令

词法命令用于操作解析到的token，比如常用到的skip:放弃解析到的token

WHITESPACE: { \r\n}->skip

其他的还有 channel(n)，type(n)，mode(n), pushMode(n)，popMode(n)

2.4 词法的执行动作

比如说以下的两个例子：

ID: [A-Z]+ {log{"matched rule"}}
ID: {A-Z}+ {isIdValid()}

3.语法（Rule）

词法分析是识别一个个token，而语法分析是识别出程序的语法树状结构。这棵树也叫做AST(Abstrace Syntax Tree)抽象语法树。参考这个网址给出的演示，https://resources.jointjs.com/demos/javascript-ast，如下的表达式将被解析出一颗AST树。

4.语义分析

语义分析的目的是消除语义中模棱两可的“二义性”。比如一个变量同时定义在花括号外部和内部，那么到底该用哪一个。

5.antlr使用

5.1Antlr是什么

antlr是java实现的编译工程，历经20多年发展，目前是4.7版本。虽然是java实现的编译工具，但是antlr支持生成cpp、java、python、c#等的解析运行库，可以当做多种语言的解析工具用。

5.2 安装antlr

5.2.1 安装依赖java环境

在安装好的java环境，需要把官网下载的包antlr-4.7.2-complete.jar放在某个文件路径下，并把这个路径加到CLASS_PATH。

CLASSPATH=.:/usr/local/lib/antlr-4.7.2-complete.jar

5.3使用antlr

设置antlr4的快捷命令：

antlr4='java -jar /usr/local/lib/antlr-4.7.2-complete.jar'

根据语法文件生成相对应语言版本的解析工具代码。

Bbcode.g4的规则如下：

生成命令：

 antlr4 -Dlanguage=Cpp -visitor ./Bbcode.g4 -o antlr4-bbcode

-Dlangguage是生成Cpp，如果不指定，默认是java
-visitor额外生成vistor模式访问的工具代码，没有指定默认是listener模式。
*g4代表着你的g4文法文件
-o输出代码文件到哪个文件夹下

输出的代码目录结构如下：