一、实验目的
设计、编制并调试一个词法分析程序,加深对词法分析原理的理解。
二、实验内容
2.1 待分析的简单的词法
(1)关键字:
begin if then while do end
所有的关键字都是小写。
(2)运算符和界符
: = + - * / < <= <> > >= = ; ( ) #
(3)其他单词是标识符(ID)和整型常数(SUM),通过以下正规式定义:
ID = letter (letter | digit)*
NUM = digit digit*
(4)空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字,词法分析阶段通常被忽略。
2.2 各种单词符号对应的种别码:
表2.1 各种单词符号对应的种别码
单词符号 | 种别码 | 单词符号 | 种别码 |
bgin | 1 | : | 17 |
If | 2 | := | 18 |
Then | 3 | < | 20 |
wile | 4 | <> | 21 |
do | 5 | <= | 22 |
end | 6 | > | 23 |
lettet(letter|digit)* | 10 | >= | 24 |
digit digit* | 11 | = | 25 |
+ | 13 | ; | 26 |
— | 14 | ( | 27 |
* | 15 | ) | 28 |
/ | 16 | # | 0 |
2.3 词法分析程序的功能:
输入:所给文法的源程序字符串。
输出:二元组(syn,token或sum)构成的序列。
其中:syn为单词种别码;
token为存放的单词自身字符串;
sum为整型常数。
例如:对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件,经过词法分析后输出如下序列:
(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)……
程序中需要用到的主要变量为syn,token和sum。
①token用来存放构成单词符号的字符串;②sum用来整型单词;③syn用来存放单词符号的种别码。
#include <iostream>
#include <string.h>
using namespace std;
char key[6][20] = {"begin","if","then","while","do","end"};//定义一个二维数组存放关键字
char token[20]; //存放字符(单词)
//判断关键字
int isKey(char s[])
{
for(int i = 0; i<6;i++)
{
if(strcmp(s,key[i]) == 0)
{
return i+1; //关键字的种别码依次为 begin=1,if=2,then=3,while=4,do=5,end=6即为 i+1 的值
}
}
return -1;
}
//判断是不是字母
bool isChar(char ch)
{
if((ch>='a' && ch<='z') || (ch>='A' && ch<='Z'))
return true;
else return false;
}
//判断是不是数字
bool isNum(char ch)
{
if(ch>='0' && ch<='9')
return true;
else
return false;
}
//核心子程序
void scanner(int &syn,int &p,char s[])
{
int count = 0;
if(s[p] == ' ') p++;
//开头是字母
if(isChar(s[p]))
{
while(isNum(s[p]) || isChar(s[p]))
{
token[count++] = s[p];
p++;
}
token[count] = '\0'; //'\0'作为结束符 ,将单词分隔开
syn = isKey(token);
if(syn == -1)
{
syn = 10; //标识符letter(letter|digit) *
}
}
//开头是数字
else if(isNum(s[p]))
{
while(isNum(s[p]))
{
token[count++] = s[p];
p++;
}
token[count] = '\0';//结束标识
syn = 11; //数字digit(digit) *
}
//如果是运算符或者界符
else
{
//先处理没有争议的字符
switch(s[p])
{
case '+': syn = 13;token[0] = s[p];token[1]='\0';break;
case '-': syn = 14;token[0] = s[p];token[1]='\0';break;
case '*': syn = 15;token[0] = s[p];token[1]='\0';break;
case '/': syn = 16;token[0] = s[p];token[1]='\0';break;
case '=': syn = 25;token[0] = s[p];token[1]='\0';break;
case ';': syn = 26;token[0] = s[p];token[1]='\0';break;
case '(': syn = 27;token[0] = s[p];token[1]='\0';break;
case ')': syn = 28;token[0] = s[p];token[1]='\0';break;
case '#': syn = 0 ;token[0] = s[p];token[1]='\0';break;
}
//处理有争议的
//: :=
if(s[p] == ':')
{
token[count++] = s[p];
if(s[p+1] == '=')
{
p++;
token[count++] = s[p];
syn = 18;
}
else
{
syn = 17;
}
token[count] = '\0';
}
//< <> <=
if(s[p] == '<')
{
token[count++] = s[p];
if(s[p+1] == '>')
{
p++;
token[count++] = s[p];
syn = 21;
}
else if(s[p+1] == '=')
{
p++;
token[count++] = s[p];
syn = 22;
}
else
{
syn = 20;
}
token[count] = '\0';
}
//> >=
if(s[p] == '>')
{
token[count++] = s[p];
if(s[p+1] == '=')
{
p++;
token[count++] = s[p];
syn = 24;
}
else
{
syn = 23;
}
token[count] = '\0';
}
//后移
p++; //判断运算符和界符的这部分由于指针 p 没有向后指,所以需要将指针 p 向后移一位
}
}
int main()
{
char s[100]; //输入字符串
while(cin>>s)
{
int p = 0;
int syn;
while(p < strlen(s)) //循环条件 ,p还未指到字符串最后
{
scanner(syn,p,s);
cout<<'<'<<token<<','<<syn<<'>'<<endl;
}
}
return 0;
}
输入begin x:=9: if x>9 then x:=2*x+1/3; end #
运行结果为: