被忽略的java.io.StreamTokenizer

一直以来，偶们都知道字符串的分割最常用的是java.util.StringTokenizer，但是某些时候，StringTokenizer有很大的局限性，孰不知，有个更为强大的的分割工具,不过是基于流的，但是借助于中间类，也可以处理字符串，而且处理的很好，今天偶们就掀开他地盖头来瞧一瞧：
　　 StreamTokenizer定义了几种基本的常量用于标识解析过程：TT_EOF(流结尾)、TT_EOL(行结尾)、TT_NUMBER(数字符号, 0 1 2 3 4 5 6 7 8 9 . -都属于数字语法)、TT_WORD(一个单词)。
　　 其含有的基本方法介绍一下：
　　 commenChar(int ch) - 指定某个字符为注释字符，此字符之后直到行结尾都被stream tokenizer忽略。
　　 eolIsSignificant(boolean flag) - 决定一个行结束符是否被当作一个基本的符号处理，如果是true，则被当作一个基本符号，不当作普通的分隔符，如果是false，则保持原义，即当作普通的分隔符。
　　 lineno() - 返回当前流所在的行号。
　　 lowerCaseMode(boolean flag) - 决定是否读取一个单词时是否转变成小写。
　　 nextToken() - 不用解释了吧。。。
　　 ordinaryChar(int ch) - 指定字符在这个tokenizer中保持原义，即只会把当前字符认为普通的字符，不会有其他的语义。
　　 ordinaryChars(int low, int hi) - 指定范围内的字符保持语义，同上
　　 parseNumbers() - 当stream tokenizer遭遇到一个单词为双精度的浮点数时，会把它当作一个数字，而不是一个单词。
　　 pushBack() - 回退，会引起下一个nextToken方法返回当前值。
　　 quoteChar(int ch) - 指定当前字符为当前tokenizer中的分隔符，在两个符号之间被当作一个字符串解析。
　　 resetSyntax() - 重置语法表使所有的字符都被认为是“ordinary”。
　　 slashSlashComments(boolean flag) - 如果为true，则/*与*/之间的都被认为是注释，反之，不是。
　　 slashStartComments(boolean flag) - 如果为true，则//之后到行结尾的所有都被认为是注释，反之，不是。 
　　 whitespaceChars(int low, int hi) - 字符low与hi之间的所有字符都被当作为空格符，即被认识为tokenzier的分隔符。
　　 wordChars(int low, int hi) - 字符low与hi之间的所有字符都被当作为单词的要素。一个单词是由一个单词要素后面跟着0个或者更多个单词要素或者数字要素。
　　 api不是很复杂吧～应该不难理解。
　　 一下举个例子会一幕了然：   / /   Set   up   a   StreamTokenizer   on   the   characters   in   this   String
　　  StreamTokenizer  st  =  new   StreamTokenizer ( new   StringReader (svalue ));
　　 / / 知道该怎么解析字符串了吧。
　　  st.whitespaceChars ( ' , ' , ' , ' );
　　   / /   Commas   are   delimiters
　　  st.ordinaryChars ( ' 0 ' ,  ' 9 ' );
　　   / /   Needed   to   turn   off   numeric   flag
　　  st.ordinaryChars ( ' . ' ,  ' . ' );
　　  st.ordinaryChars ( ' - ' ,  ' - ' );
　　  st.wordChars ( ' 0 ' ,  ' 9 ' );
　　   / /   Needed   to   make   part   of   tokens
　　  st.wordChars ( ' . ' ,  ' . ' );
　　  st.wordChars ( ' - ' ,  ' - ' );
　　   / /   Split   comma - delimited   tokens   into   a   List
　　  ArrayList  list  =  new   ArrayList ();
　　   while   ( true  ) 
　　 {
　　      int  ttype  = st.nextToken ();
　　     if  ((ttype  == StreamTokenizer.TT_WORD ) || (ttype  > 0 )) 
　　    {
　　         list.add (st.sval );
　　         
　　    } else  if  (ttype  == StreamTokenizer.TT_EOF ) 
　　    {
　　         break ;
　　         
　　    } else  
　　    {
　　         throw  new  ConversionException  ("Encountered token of type " + ttype );
　　         
　　    } 
　　 }