StreamTokenizer的用法

总结下StreamTokenizer的几个变量的状态变化

StreamTokenizer用来分隔单词。

1、它可以以whitespace（空格、Tab、被设置成whitespace的字符）来分隔。

此时StreamTokenizer的状态。

ttype = TT_WORD或TT_NUMBER

sval或nval = 被whitespace分隔的单词

2、用引号（单引号’  双引号” ，以及被设置为定界符的字符eg b123345b，b就是定界符，取值为12345）来分隔的单词，

此时StreamTokenizer的状态。

       ttpye= 定界符的ascii码

       sval= 被定界符所包围的单词

ttype状态的总结：

被whitespace分隔的字符：TT_WORD or TT_NUMBER

被定界符分隔的字符：定界符的ascii码

遇到换行符，返回EOL