编译器对原始Unicode输入流进行转换,将原始Unicode输入字符转换为词法输入元素。原始的Unicode输入字符定义为:
<Unicode输入字符>:
<Unicode字符> 或
<Unicode转义系列>
<Unicode转义系列>定义为:
<Unicode标记><16进制数字><16进制数字><16进制数字><16进制数字>
<Unicode标记>定义为:
u 或
u<Unicode标记>
<16进制数字>定义为下列字符之一:
0 1 2 3 4 5 6 7 8 9 A B C D E F a b c d e f
其中\、u和<16进制数字>均为ASCII码。
当程序文本出现反斜杠‘\’时,词法分析器还需要统计该符号前面所遇到的连续‘\’的个数,如果前面的‘\’个数为偶数,则此‘\’可以和后面符号串依据上述<Unicode转义系列>的词法定义,进行<Unicode转义系列>分析;如果当前‘\’前面连续的‘\’个数为奇数,则当前的‘\’不能和后面的字符构成<Unicode转义系列>。例如,程序文本中的原始输入串"\u2297=\u2297",将得出7个字符" \ \ u 2 2 9 7 = " (其中\u2297是字符""的Unicode编码)。
如果当前‘\’后面紧跟的字符不是u,则‘\’就是一个Unicode输入字符,词法分析继续后面的分析。
如果当前‘\’后面紧跟一个或几个u,如果最后一个u后面不是紧跟着4个16进制数字,则出现编译错误。一个已经分析出的Unicode转义字符不可继续参与后面Unicode转义分析。例如\u005cu005a,将得出6个字符\u005a,\u005c表示ASCII字符\,但它不能继续参与后面的Unicode转义分析,因此没有同后面的u005a构成新的Unicode转义字符。