头歌编译原理 第1关：词法分析

主函数

任务描述

本关任务：编写一个程序实现对简单的程序段进行词法分析。

相关知识

为了完成本关任务，你需要掌握： 1.如何识别单词：关键字、标识符、常数、算符、界符， 2.如何为单词符号设置种别码， 3.以二元式输出单词符号，二元式结构为：（单词种别码，单词的值）。

如何为单词符号设置种别码

单词符号的种别码如下表所示(注：letter为26个文字母大小写,digit为0~9的数字)：

以二元式输出单词符号

若输入一个识别的单词，则输出此单词的二元式 ； 若输入一个无法识别的单词，则输出(-1,ERROR)。 如：(2,if)

测试说明

平台会对你编写的代码进行测试：

测试输入：if(a>10) b=100;# 预期输出： Your words: if(a>10) b=100; (2,if) (26,() (10,a) (35,>) (20,10) (27,)) (10,b) (21,=) (20,100) (34,;)

---

开始你的任务吧，祝你成功！

思路：输入的是一段字符串 比如 if（a>b){ c = 100};

那么就要分析字符串，把关键字if 以及 ( ）a >  b { } c = 100 ，这些字符分别提取出来

其中标识符 可以是纯字母：aa ，也可以是字母跟数字的组合 ：a1  纯字母可以是关键字比如 if int 也可以是特殊字符串OVER ERROR 等

单个运算符之类的比如：+ - * /  > < = （ ） { } [ ] 等

或者是双个的运算符 >=  <=  !=

代码：

用到的头文件 和函数声明 

#include<iostream>
#include<string>
#include<unordered_map>
#include<vector>
#include<algorithm>
using namespace std;
unordered_map<int, string>form;//用哈希表保存单词符号和种别码，一一对应
//数字处理函数
void is_alpha(int& i, string input_string, vector<pair<int, string>>& store_string);
//其他字符处理函数
void is_annother(int& i, string input_string, vector<pair<int, string>>& store_string);
//标识符或者关键字处理函数
void is_digit(int& i, string input_string, vector<pair<int, string>>& store_string);
//打印结果
void print_result(const vector<pair<int, string>>&);
//字符串分析分离函数
vector<pair<int, string>> seperator_string(string input_string);

主函数

int main(void) {
	string word_symbols[] = { "begin","if","then","while","for",
		"end","int","else","letter","digite","=","+","-","*","/",
	"(",")","[","]","{","}",",",":",";",">","<",">=","<=","!=" };
	for (int i = 0; i < 8; i++) {
		form.insert(pair<int, string>(i + 1, word_symbols[i]));
	}
	form[10] = "letter";
	int j = 20;
	for (int i = 9; i < 29; i++, j++) {
		form.insert(pair<int, string>(j, word_symbols[i]));
	}

	form[-1] = "ERROR";
	form[0] = "#";
	form[1000] = "OVER";
	form.erase(39);
	form[40] = "!=";

	cout << "Enter Your words(end with #):\n ";
	string input_string;
	getline(cin, input_string, '#');
	cout << "Your words:\n" + input_string << "\n";
	//删除所有的空格 比如 输入是 if (a > b) {   a = 10  ;} 把空格删掉可以更好遍历跟识别
	input_string.erase(remove(input_string.begin(), input_string.end(), ' '), input_string.end());

	vector<pair<int, string>> result = seperator_string(input_string);
	print_result(result);

	return 0;
}

字符串分析分离函数

vector<pair<int, string>> seperator_string(string input_string) {
	vector<pair<int, string>>store_string;
	for (int i = 0; i < input_string.length(); i++) {
		if (isalpha(input_string[i])) {//字符串以字母开头，要么是标识符，要么是关键字 
										//例如 aa a1都可以是变量名 但是 if在这样的就是管家你
			is_alpha(i, input_string, store_string);//执行分离该字符串功能
		}
		else if (isdigit(input_string[i])) {//如果是 数字0 - 9 这样的 
			is_digit(i, input_string, store_string);//分离出数字字符串
		}
		else {//是运算符之类的 比如 {} [] （） > < =  !=之类
			is_annother(i, input_string, store_string);
		}

	}
	return store_string;
}

数字字符串处理函数

void is_digit(int& i, string input_string, vector<pair<int, string>>& store_string) {
	string temp = "";
	temp.push_back(input_string[i]);//当遍历到 比如 if(a>b) a1 = 100;遍历到这个 100 的1时判断为数字，把1加入临时字符串
	int j = i + 1;
	for (j; j < input_string.length(); j++) {//遍历后面 如果发现也是数字 比如 100 遍历到第一个0 
		if (isdigit(input_string[j])) {
			temp.push_back(input_string[j]);//则加入到临时字符串 10 然后二次遍历结果就是 100
		}
		else {//遍历到后面发现不是数字了 则结束遍历
			break;
		}
	}
	i = j - 1;//当遍历到不是数字时 此时i指向的是非数字，所以往后退一格 然后又会在外面大循环  i++往前进一格指向下一个
	store_string.push_back(pair<int, string>(20, temp));
}

标识符关键字处理函数

void is_alpha(int& i, string input_string, vector<pair<int, string>>& store_string) {
	string temp = "";
	temp.push_back(input_string[i]);
	int j = i + 1;
	bool flag = false;//用来标识该字符串是否为字母数字组合
	//检查后面的字符
	for (j; j < input_string.length(); j++) {
		if (isalpha(input_string[j]) || isdigit(input_string[j])) {//字母后面跟数字也是标识符
			if (isdigit(input_string[j])) {
				flag = true;
			}
			temp.push_back(input_string[j]);
		}
		else {//查到后面的字符非字母数字则结束循环
			break;
		}
	}
	i = j - 1;//退回一位 比如  "abcd{"这样的序列，则当检查到‘{’是发现不是字母或者数字 
			//则i=j-1也就是此时指向d，然后外循环i++ 再指向{

	if (!flag) {//如果是字母数字字符串则不需要判断是否为关键字
		if (temp == "ERROR") {//是特殊字符串ERROR
			store_string.push_back(pair<int, string>(-1, temp));
			return;
		}
		if (temp == "OVER") {//是特殊字符串OVER则跳过
			store_string.push_back(pair<int, string>(1000, temp));
			return;
		}
		for (int k = 1; k < 9; k++) {
			if (form[k] == temp) {//在map中不断比对是否跟某个关键字相等
				store_string.push_back(pair<int, string>(k, temp));//分离出关键字
				break;
			}
			else {
				if (k == 8) {//到i==8还没查出是哪个关键字则说明是纯字母标识符
					store_string.push_back(pair<int, string>(10, temp));
				}
			}
		}
	}
	else {//是字母加字符的组合
		store_string.push_back(pair<int, string>(10, temp));
	}


}

运算符及其它字符处理函数

void is_annother(int& i, string input_string, vector<pair<int, string>>& store_string) {
	char temp = input_string[i];
	if (input_string[i + 1] == '=') {//非字母数字有一下三种特殊情况
		if (input_string[i] == '>') {
			store_string.push_back(pair<int, string>(37, ">="));
		}
		else if (input_string[i] == '<') {
			store_string.push_back(pair<int, string>(38, "<="));
		}
		else {
			store_string.push_back(pair<int, string>(40, "!="));
		}
		i++;
	}
	else {
		for (int j = 20; j <= 36; j++) {//检查单个字符情况如 +-*/ 》） （ - ] }
			if (temp == form[j][0]) {
				store_string.push_back(pair<int, string>(j, form[j]));
				break;
			}
		}
	}
}

运行测试：