java实现词法分析

代码下载地址

源码请点击：Github

Lexical_Analysis.c

#include<stdio.h>
#include<string.h>
int isDigit(char ch)
{
    if(ch>='0'&&ch<='9')
        return 1;
    else return 0;
}

int isLitter(char ch)
{
    if(ch>='a'&&ch<='z'||ch>='A'&&ch<='Z')
        return 1;
    else return 0;
}

int isKeyword(char tmp[])
{
    if(!strcmp(tmp,"main")|| !strcmp(tmp,"if") || !strcmp(tmp,"else") || !strcmp(tmp,"for") || !strcmp(tmp,"while") || !strcmp(tmp,"int"))
        return 1;
    else return 0;
}
void get()
{
    char ch;
    int line=0;行数
    char tmp[100];
    int i=0;
    while(~scanf("%c",&ch))
    {
        if(ch==' '||ch=='\t')//为空格或是tab
            continue;
        //回车
        else if(ch=='\n')
            line++;
        //是否是分界符
        else if(ch=='('||ch==')'||ch=='{'||ch=='}'||ch==','||ch==';')
            printf("(boundary,%c)\n",ch);

        else if(isDigit(ch))//是否是数字
        {
            while(isDigit(ch))
            {
                tmp[i++]=ch;
                scanf("%c",&ch);
            }
            tmp[i]='\0';//加上结束符
            i=0;
            printf("(integer,%s)\n",tmp);
            ungetc(ch,stdin);//将字符退回到输入流中
        }
        else if(isLitter(ch)||ch=='_')
        {
            while(isLitter(ch)||isDigit(ch)||ch=='_')
            {
                tmp[i++]=ch;
                scanf("%c",&ch);
            }
            tmp[i]='\0';
            i=0;
            if(isKeyword(tmp))  //关键字
                printf("(keyword,%s)\n",tmp);
            else            //自定义标识符
                printf("(identifier,%s)\n",tmp);
            ungetc(ch,stdin);
        }

        //是否是运算符
        else
        {
            char c=ch;
            // if(ch=='='||ch=='<'||ch=='>'||ch=='!')
            // {
            scanf("%c",&ch);
            if(ch=='=')     //判断是否是两个字节操作符
                printf("(operator,%c=)\n",ch);
            // }
            // else
            // {
            else        //单个字节操作符
            {
                printf("(operator,%c)\n",c);
                ungetc(ch,stdin);
            }
        }

    }
}
int main()
{
    get();
}

Input

输入一个小C语言源程序，保证输入合法。

Output

按照源程序中单词出现顺序输出，输出二元组形式的单词串。
(单词种类,单词值)
单词一共5个种类：
关键字：用keyword表示
自定义标识符：用identifier表示
整数：用integer表示
界符：用boundary表示
运算符：用operator表示
每种单词值用该单词的符号串表示。

Example Input

main() 
{
    int a, b;
    if(a == 10)
    {
        a = b;
    }
}

Example Output

(keyword,main)
(boundary,()
(boundary,))
(boundary,{)
(keyword,int)
(identifier,a)
(boundary,,)
(identifier,b)
(boundary,;)
(keyword,if)
(boundary,()
(identifier,a)
(operator,==)
(integer,10)
(boundary,))
(boundary,{)
(identifier,a)
(operator,=)
(identifier,b)
(boundary,;)
(boundary,})
(boundary,})

C语言词法

1. <程序>→(){<声明序列><语句序列>}
2. <声明序列>→<声明序列><声明语句>|<声明语句>|<空>
3. <声明语句>→<标识符表>;
4. <标识符表>→<标识符>,<标识符表>|<标识符>
5. <语句序列>→<语句序列><语句>|<语句>
6. <语句>→< if语句>|< while语句>|< for语句>|<复合语句>|<赋值语句>
7. < if语句>→< if关键字>(<表达式>)<复合语句>|<if关键字>(<表达式>)<复合语句>< else关键字><复合语句>
8. < while语句>→< while关键字>(<表达式>)<复合语句>
9. < for语句>→< for关键字>(<表达式>;<表达式>;<表达式>)<复合语句>
10. <复合语句>→{<语句序列>}
11. <赋值语句>→<表达式>;
12. <表达式>→<标识符>=<算数表达式>|<布尔表达式>
13. <布尔表达式>→<算数表达式> |<算数表达式><关系运算符><算数表达式>
14. <关系运算符>→>|<|>=|<=|==|!=
15. <算数表达式>→<算数表达式>+<项>|<算数表达式>-<项>|<项>
16. <项>→<项>*<因子>|<项>/<因子>|<因子>
17. <因子>→<标识符>|<无符号整数>|(<算数表达式>)
18. <标识符>→<字母>|<标识符><字母>|<标识符><数字>
19. <无符号整数>→<数字>|<无符号整数><数字>
20. <字母>→a|b|…|z|A|B|…|Z
21. <数字>→0|1|2|3|4|5|6|7|8|9
22. < main关键字>→main
23. < if关键字>→if
24. < else关键字>→else
25. < for关键字>→for
26. < while关键字>→while
27. < int关键字>→int

#个人主页：www.iooy.com