字符串处理StringTokenizer

在 Java 类库的 java.util 包中包含一个用于进行字符串词法分析的类 StringTokenizer ,目的是将对字符串进行分解的方法进行封装，以简化应用程序设计过程中的工作量。例如，对于字符串 “We are Students “, 如果把空格作为该字符串的分隔符，那么该字符串有3个单词；而对于字符串 “You,are,Student”,如果把逗号作为了该字符串的分隔符，那么该字符串也有三个单词。

StringTokenizer的构造方法

StringTokenizer 类提供3中形式的构造函数：

StringTokenizer(String str)
StringTokenizer(String sb,String delim)     // delim为分隔符号
StringTokenizer(String sb,String delim, boolean returnTokens)

在对一个字符串进行解析的时候，在字符串中必须包括一个用于解析的分隔符号。java 默认的分隔符为空格，制表符(‘\t’)、换行符(‘\n’)、回车符(‘\r’)。

如果在程序设计中想采用自定义的分隔符，可以通过在构造函数中指定 delim 项来设置用户分隔符。相应地，在 StringTokenizer 类中提供了相应的成员方法。
另外，如果 ReturnTokenizer 标志位 true, 则分隔符也被作为标记返回。每个分隔符作为长度为 1 的字符串返回。 如果标志为 false, 则跳过分隔符字符，且把它作为标记之间的分隔符。

StringTokenizer fenxi = new StringTokenizer("we are student");
String Tokenizer fenxi = new StringTokenizer("we ,are ; student",", ; ");

StringTokenizer类的常用方法

1、统计分隔符数量

public int countTokens()
该方法返回的是字符串中的当前单词的数量，为整数。

String str = new String("I lover java");
StringTokenizer st = new StringTokenizer(str);
int nTokens = st.countTokens(); //3

2、匹配和寻找分隔符

通常，下面的两个组合方法局可以用来完成分隔符的寻找和匹配：
hasMoreElements() , nextElement()
和
hasMoreTokens(), nextToken(), nextToken(String delim)
一般是用 hasMoreTokens 方法判断在字符串中是否还有已经定义的分隔符。如果有，则在除分隔符后，到下一个分隔符之前的内容进行一次循环；如果没有，则终止循环。
利用 StringTokenizer 类进行简单的词法分析。

package stringtest;
import java.util.*;
public class Stringtest {
    public static void main(String[] args) {
        //构造StringTokenizer 对象。
        StringTokenizer st = new StringTokenizer("this is a java programming ");
         int number = st.countTokens();
       // 在字符串中匹配默认的分隔符
         while(st.hasMoreTokens()){
            //打印当前分隔符和下一个分隔符之间的内容。
            System.out.println(st.nextToken());
        }
        System.out.println("s 总共有单词 "+number+" 个");
    } 
}
//结果：
// this
// is
// a 
// java
// programming
// s 总共有单词 5 个

package stringtest;
import java.util.*;
public class Stringtest {
    public static void main(String[] args) {
        String s = "I am Xing.zh.l,she is my girlfriend";
        StringTokenizer st = new StringTokenizer(s," ,",true);
        int number = st.countTokens();
        while(st.hasMoreTokens()){
            System.out.println(st.nextToken());
        }
        System.out.println("s 总共有单词 "+number+" 个");
    } 
}
//结果：
// I
// 
// am
// 
// Xing.zh.l
// ,
// she
// 
// is
// 
// my
// 
// girlfriend
// s 总共有单词 13 个