Fuxi词法转换

编译器通过以下的词法转换(Lexical Translation)步骤，将上述的原始Unicode字符流转换成各种词法符号(Tokens)。

转义处理(Escape Processing)：将原始Unicode字符流中的Unicode转义系列转换成对应的Unicode字符。Unicode转义系列的形式为\uxxxx，其中xxxx为4个16进制数字，表示编码为xxxx的Unicode字符。该转换步骤允许所有的Fuxi程序都可以仅用ASCII字符来编写。

行识别(Line Recognition)：将经过步骤1)转换得来的Unicode字符流转换成由输入字符和行结束符组成的流；

符号化过程(Tokenization)：将经过步骤2)转换得来的由输入字符和行结束符组成的输入流转换成输入成分(Input Element)，在剔除空白、注释后，形成词法符号(Tokens)组成的系列。这些词法符号(Token)是构成句法(Syntactic Grammar)的结点符号(Terminal Symbol)。