开源编译器学习笔记02（VC6 词法扫描器 ——GetToken）——2014_1_29

参考文章

http://www.zengl.com/html/genlanmu/zenglbianchengyuyan/article-2.html

enum TOKENTYPE getToken()
{
	enum STATES state = START;//设置起始状态为START
	enum TOKENTYPE token;
	while(state!=DOWN)//当state状态为DOWN时，表示找到一个变量或者别的token(一般变量,加减符号,数字等每个扫描出来的元素都称作token)
	{
		char ch = getNextchar(); //打开一个文件，并从中读取一个字符

		switch(state)
		{
                词法分析函数（）；
		}//switch(state)
	}//while(state!=DOWN)
	return token;
}//enum TOKENTYPE getToken()

***********************************************************

词法分析函数（）；

case START:

     START处理函数（）；

     break;

case INID:

    INID处理函数（）；

    break;

case INNUM:

    INNUM处理函数（）；

    break;

可以看出，词法分析函数分成来 三个部分，

***************************************************

START处理函数（）；

                if(ch==' ' || ch=='t' || ch=='n')  //如果是换行回车之类的就跳过。
                    continue;

                else if(isalpha(ch)) //判断读取的字符是否是英文字母。
                {
                    state=INID; //如果是字母，我们就将state状态机设置为INID 。
                    makeTokenStr(ch);  //然后将读取出来的ch字符通过函数makeTokenStr加入到TokenString动态字符串里
                }

                else if(isdigit(ch))  //判断读取的字符是否是数字
                {
                    state=INNUM; //如果是数字，我们就将state状态机设置为INNUM 。
                    makeTokenStr(ch); //然后将读取出来的ch字符通过函数makeTokenStr加入到TokenString动态字符串里
                }

                else
                {

                       处理ch函数（）；

                    }//switch(ch)
                    makeTokenStr(ch);
                }

******************************************************

   INID处理函数（）；

                if(isalpha(ch))  //在INID状态下，一直读取字符，直到该字符不是字母为止，并将读取的字母通过makeTokenStr构成完整的标示符。
                    makeTokenStr(ch);

                else
                {
                    state = DOWN;
                    token = ID; //将token设为ID表示读取到了一个标示符。ID即identifier 英文缩写。
                    ungetchar(); //因为多读取了一个非字母的字符，所以用ungetchar函数来回退一个字符，供下一次扫描使用。
                }

********************************************************

INNUM处理函数（）；

                if(isdigit(ch)) //在INNUM状态下，一直读取字符，直到该字符不是数字为止，并将读取的单个数字通过makeTokenStr构成完整的数值。
                    makeTokenStr(ch);

                else
                {
                    state = DOWN;
                    token = NUM;  //将token设为NUM表示读取到了一个数字。
                    ungetchar();
                }

************************************************************

其实词法扫描器就是循环读取文件里的字符。

并通过读取到的首字符判断是哪种类型的token，如果是字母，说明当前读到的部分是标示符，就将state状 态机由START开始读取的状态转为INID（在identifier的状态即处于标示符的读取状态），在INID的switch case里将后面的连续的字母和首字母一起构成一个完整的标示符，并将这些连续的字母存放到TokenString动态字符串里，这样就找到了一个 token了。

其他的数字，运算符之类的Token也是同理查找。

************************************************************

enum TOKENTYPE{
    ID,NUM,PLUS,MINIS,TIMES,DIVIDE,ASSIGN,ENDFILE,ERROR
};

enum STATES{
    START,INID,INNUM,DOWN
};

***********************************************************

处理ch函数（）；

                            state = DOWN;  //如果字符是‘+’号就将state状态机设为DOWN,这样就可以结束循环，并把token设为PLUS枚举值，表示找到加号运算符。
                            token = PLUS;
                            break;
                        case '-':
                            state = DOWN; //和上面同理
                            token = MINIS;
                            break;
                        case '*':
                            state = DOWN; //和上面同理
                            token = TIMES;
                            break;
                        case '/':
                            state = DOWN; //和上面同理
                            token = DIVIDE;
                            break;
                        case '=':
                            state = DOWN; //和上面同理
                            token = ASSIGN;
                            break;
                        case EOF:
                            state = DOWN; //EOF字符表示读取到了文件的结尾，则返回ENDFILE的token，在外层main函数的主循环就会结束扫描。
                            token = ENDFILE;
                            break;
                        default:
                            state = DOWN; //其他情况下表示读取到了未定义的token，那么就返回ERROR。
                            token = ERROR;
                            break;

*******************************************************************************

其它的函数刚开始都可以理解成黑盒子，即直接使用，其具体实现可以以后再理解，这样不影响编译器学习，也不至于负担太重。

getNextchar（）；

isalpha（）；

isdigit（）；

makeTokenStr（）；

ungetchar（）。