Java词法分析器的设计和实现 设计篇

词法分析是编译原理课程的一个的部分，通过词法分析器的实现，我们可以更好的理解程序的编译过程。

功能描述：

使用 DFA 实现词法分析器的设计 ;

 

实现对 Java 源程序中注释的过滤 ;

利用两对半缓冲区从文件中逐一读取单词 ;

词法分析结果属性字流存放在独立文件 ( 文件名： scanner_output) 中 ;

统计源程序每行单词的个数和整个源文件单词个数 ;

具有报告词法错误和出错位置（源程序行号和该行字符）的功能 ;

DFA设计：

 

关键字、布尔常量、标识符：

常量：

字符：

字符串：

间隔符：

运算符：

转义字符及其它：

 

流程图设计：

主要数据定义：

 

//缓冲区大小 #define MAX_PATH 128 #define BUF_SIZE 128 #define HALF_BUF_SIZE 64 #define MAX_LENGTH 128 //输入输出文件指针 FILE *inFile, *outFile; //输入输出文件路径 char inputPath[MAX_PATH]={'/0'}; char outputPath[MAX_PATH]={'/0'}; //输入缓冲区 char inputBuf[BUF_SIZE]={'/0'}; //扫描到的单词 char scanWord[MAX_LENGTH]={'/0'}; //属性值 char wordValue[6]={'/0'}; //属性类别 char wordType[64]={'/0'}; //输入缓冲区编号 int numberOfBuf=0; //每行单词数 int numberOfWords=0; //总单词数 int numberOfAllWords=0; //行号 int lineNumber=1; //总行数 int numberOfLines=1; //缓冲区当前位置的字符 int scanCount=0; //单词的索引 int indexOfWord=0; //状态机状态 int state=0; //缓冲区读取标志 int bufReadFlag=0; // ':' 类型标志，为'：'，为'？：' 标识 int colonTypeFlag=0; //关键字，最长为（synchronize） char keyWords[50][13]={ "abstract","boolean","break","byte","case","catch","char","class", "const","continue","default","do","double","else","extends","false", "final","finally","float","for""goto","if","implements","import", "instanceof","int","interface","long","native","new","null","package", "private","protected","public","return","short","static","super","switch", "synchronized","this","throw","throws","transient","true","try","void", "volatile","while" };  

主要函数定义：

//读取文件数据到输入缓冲区, 两个半缓冲区，每次读入半个缓冲区大小 void Scanner() //从缓冲区内读取单个字符 char ReadChar() //回退读取一个字符 void UntRead() //scanWord重新赋值 void ReInit() //判断'?' 之后':' 是否存在,只适用于非嵌套的情况 bool FindColon() //输出属性字流 void outputWordStream(int index) //判断读取到的字符串是关键字、布尔常量、标识符 int JudgeStringType() //判断是否是间隔符{}、[]/()/.、, int JudgeDelimeterType() //有限状态自动机 void DFA() //主函数 int main()  

由于某些原因使图片显示比例失调，还请见谅！