一个简单的词法分析器

 

该词法分析器可以处理简单的语法，但有限状态机、正则表达式的处理不是非常严谨；仅供参考

但可以起到启蒙例子的作用，下面源代码经本人确认可以运行；

运行例子如下：

 

 

源代码

#include <stdio.h>
#include <string.h>
#include <iostream>
using namespace std;

// ref: https://www.cnblogs.com/yanlingyin/archive/2012/04/17/2451717.html
// 博客园 词法分析器的实现

// prog: 输入的源字符串; token: 词素的值
char prog[80],token[8];
char ch;
int syn,p,m=0,n,row,sum=0;    // p: prog的指针；syn：种别码，即词素类型; sum：数字时的token；
char *rwtab[6]={"begin","if","then","while","do","end"};

void scaner()
{
    /*
        共分为三大块，分别是标示符、数字、符号，对应下面的 if   else if  和 else
    */
    for(n=0;n<8;n++) token[n]=NULL;
    ch=prog[p++];
    // 当ch为空格时，指针p向后移；
    while(ch==' ')
    {
        ch=prog[p];
        p++;
    }
    //可能是标示符或者变量名
    if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z'))
    {
        m=0;
        while((ch>='0'&&ch<='9')||(ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z'))
        {
            token[m++]=ch;
            ch=prog[p++];
        }
        token[m++]='\0';
        p--;
        syn=10;
        for(n=0;n<6;n++)  //将识别出来的字符和已定义的标示符作比较，
            if(strcmp(token,rwtab[n])==0)
            {
                syn=n+1;
                break;
            }
    }
    //数字
    else if((ch>='0'&&ch<='9'))
    {
        {
            sum=0;
            while((ch>='0'&&ch<='9'))
            {
                sum=sum*10+ch-'0';
                ch=prog[p++];
            }
        }
        p--;
        syn=11;
        // 溢出情况
        if(sum>32767)   syn=-1;
    }

    //其他字符
    else switch(ch)
    {
        case'<':
            m=0;
            token[m++]=ch;
            ch=prog[p++];
            if(ch=='>')
            {
                syn=21;
                token[m++]=ch;
            }
            else if(ch=='=')
            {
                syn=22;
                token[m++]=ch;
            }
            else
            {
                syn=23;
                p--;
            }
            break;
        case'>':
            m=0;
            token[m++]=ch;
            ch=prog[p++];
            if(ch=='=')
            {
                syn=24;
                token[m++]=ch;
            }
            else
            {
                syn=20;
                p--;
            }
            break;
        case':':
            m=0;
            token[m++]=ch;
            ch=prog[p++];
            if(ch=='=')
            {
                syn=18;
                token[m++]=ch;
            }
            else
            {
                syn=17;
                p--;
            }
            break;
        case'*':syn=13;token[0]=ch;break;
        case'/':syn=14;token[0]=ch;break;
        case'+':syn=15;token[0]=ch;break;
        case'-':syn=16;token[0]=ch;break;
        case'=':syn=25;token[0]=ch;break;
        case';':syn=26;token[0]=ch;break;
        case'(':syn=27;token[0]=ch;break;
        case')':syn=28;token[0]=ch;break;
        case'#':syn=0;token[0]=ch;break;
        case'\n':syn=-2;break;
        default: syn=-1;break;
    }
}

int main()
{
    // 输入环节
    p=0;
    row=1;
    cout<<"Please input string:"<<endl;
    do
    {
        cin.get(ch);
        prog[p++]=ch;
    }
    while(ch!='#');


    p=0;
    // 每识别出一个token，即输出打印；
    do
    {
        scaner();
        switch(syn)
        {
        case 11: cout<<"("<<syn<<","<<sum<<")"<<endl; break;
        case -1: cout<<"Error in row "<<row<<"!"<<endl; break;
        case -2: row++ ; break;
        default: cout<<"("<<syn<<","<<token<<")"<<endl;break;
        }
    }
    while (syn!=0);
}