词法分析的前奏：字符分析（一）

概述

• 一般的编译原理教科书，第一步总会论及词法分析，比如“if”是一个词，由2个字符组成，占2个字节；“6.28”也是一个词，由4个字符组成，占4个字节；有心人可能已经发现，在英语体系下，或说在ASCII码标准下，一个字符对应一个字节。但在GB18030标准体系下，一个字符可能占用1个、2个或4个字节，因此，若要实现在GB18030之下的中文编程、藏文编程、朝鲜文编程或维吾尔文编程等功能，就必须在词法分析之前加入一个字符分析的环节，先将字节流按照编码标准分解为一个个可以识别的字符，而后再按照字符的分类属性，将其组成一个个有效的单词。具有这样前端的编译器，才可以接受多种语言，为多种民族语言编程打开大门。
• 让拥有不同民族文化的人都能用编程工具表达思想，不同文明的人都能共享自己的智慧于世界，此吾之所愿。

粗略的场景描述

1. 已经有一个简单的文本文件，里面包括两三行文字，每行文字即有中文，也有英文以及单字节标点符号等。这个简单的文本文件称为测试输入文件。
2. 输出的成果也是一个文本文件，要求将“测试输入文件”中的任意字符，都以一个空格正确的分隔开来，此文件称为测试输出文件。
3. 打开测试输入文件后，每读入一行字符串，识别这个字符串的字符，字符识别后存入某个数据结构中。
4. 另一个函数读取前述数据结构中的字符，将其添加空格后写入测试输出文件中。
   基本流程描述：