自制编程语言(1)---词法分析

0.简介

本次编写词法分析器，形式为代码讲解。

1.词法分析

词法分析我了解的有两种，一类是状态机，根据遇到不同的字符转换到不同的状态来决定下一个字符应该是什么，另一种就是直接写词法分析，简单的if判断。前者实现的代码很少(可参见本人博客编译原理栏目下)，，但是需要一个状态转换表，随着词法分析的内容变多，这个表格也会很大，比较难维护，后者虽然代码写的多一些，但是逻辑上容易理解，也容易修改。

以下代码在别的教程中有所参照，但是自己改编而成，本系列部分思想来自于这里，喜欢的可以去看看，跟着学还是有所收获的。

下面是Parser目前的结构，代码中有详细注释，具体请代码请看简介篇的源码连接。源码中有详细注释。

class Parser
{
	//当前正在使用的token
	std::tuple<Token, std::string> currentToken;

	//token缓存队列，方便语法分析的时候能向后查看多个token
	std::vector<std::tuple<Token, std::string>> tokenQueue;

	//关键字存储
	std::unordered_map<std::string, Token> keyWords;

	//输入的代码
	std::fstream fs;
	//行
	int line = 1;
	//列
	int column = 0;
public:
	Parser(){}
	Parser(std::string fileName);
	//初始化token队列
	void initTokenQueue(int n);
	//获取下一个token
	std::tuple<Token, std::string> nextToken();

	//获取下一个token到队列
	std::tuple<Token, std::string> pushNextToken();

	//获取下一个字符，不从流中清除
	inline char peekChar() { return static_cast<char>(fs.peek());}
	inline char nextChar()
	{
		column++;
		return static_cast<char>(fs.get());
	}

	//获取第n位置token值
	inline Token getToken(int n = 0) { return std::get<Token>(tokenQueue[n]); }
	//获取第n位置token串
	inline std::string getCurrentLexeme(int n = 0) { return std::get<std::string>(tokenQueue[n]);}

	static void testPrint(const std::string& fileName)
	{		
		Parser p(fileName);
		//p.initTokenQueue(3);
		std::tuple<Token, std::string> tk;
		do {
			tk = p.pushNextToken();
			std::cout << "[" << std::get<0>(tk) << "," << std::get<1>(tk) << "]\n";
		} while (std::get<0>(tk) != TK_EOF);
	}
	~Parser() {}
};