基于字符流解析源代码文件的方法探究

基于字符流解析源代码文件的方法探究

---

目前网络上比较受欢迎的开源语法分析器不多，antlr是其中之一。antlr完全由java编写，目前最新版本是v4.8。笔者使用过antlr4一段时间，发现其存在的一些问题：（1）由于antlr是通过构建语法树来解析源文件的，当文件非常大时（比如linux系统内的某些源文件），构建语法树将会占用相当大的内存，而且解析时将会非常耗时；（2）antlr需要自定义词法和目标语言的上下文无关文法，这使得该工具的使用门槛较高，虽然antlr官方提供了非常丰富的不同语言，不同版本的语法文件，但是如java，c这种流行的高级语言更新较快，而antlr并不会同步更新，那时再用旧的语法文件解析新版的源文件可能出现一些问题。

---

本文提出一种简单的，基于字符流的方法来进行语法分析，这需要对目标解析语言的语法有一个全面的了解。下面以解析java源文件为例，比如以下文件：

package com.example;

import java.util.List;


public class A extends B implements C{

    private int var;
    
    public static int div(int a, int b) throws Exception{
        return a / b;
    }

    public static void main(String[] args){
        int a = 5;
        int b = 2;
        int c = div(a, b);
        System.out.println(c);
    }

}

我们的目标是提取出java文件内的元素，包括包名，导入的包名，类名，类的访问权限，类的超类和接口，类的起止行，方法名，方法的访问权限，方法的返回值，方法的参数列表，方法的起止行等等。本文通过逐个字符读文件的方式来解析源文件，因此占用内存非常少，而且速度很快，这是这种方法相比于基于构建语法树的一些优点。下面分别介绍提取目标元素的规则：

1.包名：java文件的package关键字如果出现，而且是第一个关键字，就确定为包名定义，从pakcage右边直到遇到分号";"，中间的部分就是包名；

2.导入的包名：import关键字如果出现，而且出现在类定义之前，就确定为导入包，从import关键字知道遇到分号";"，中间的部分就是导入的包名；

3.类名：提取类名需要找到class关键字，class关键字右边第一个标识符就是类名；

4.类的访问权限：找到class关键字后，向前看3个标识符，因为class最长的修饰可能是public static final class。在3个标识符中找public，protected和private关键字，如果出现某个关键字，那就是该类的访问权限，否则就是default；

5.类的超类的接口：找到class关键字后一直向右读，直到遇到第一个左大括号"{",记录中间出现的标识符，如果出现extends，那extends右边的标识符就是超类，如果出现implements，那implements右边的标识符就是接口；

6.类的起止行：找到class右边第一个左大括号后，记录当前行为类的起始行，记录左大括号数n为1，然后继续读文件，每遇到一次左大括号，n加1，每遇到一次右大括号，n减1，直到n等于0时右大括号的所在行即为类的结束行。

7.方法名和参数列表：提取方法我们需要先找到左大括号，然后向前找到右小括号，记录中间出现的标识符，如果中间出现throws关键字，就确认为方法。如果中间没有标识符，那就贪婪地匹配左小括号和右小括号，左小括号前的第一个标识符，如果不是java保留字"for,switch,catch,if,while,try,synchronized"其中之一，就一定是方法名，而左小括号到右小括号中间的部分就是参数列表。

8.方法的访问权限：方法与提取类的访问权限相似。

9。方法的起止行：方法与提取类的起始行相似。

以上就是基于字符流解析java文件的大致思路，其它语言的解析方法类似。这里附上我用go语言编写的解析工具，目前只支持java,c,c++的源文件解析。https://github.com/1014661165/Coiex.git