计算单词出现的频率

        分析一个文本文件中各个词出现的频率，并且把频率最高的10个词打印出来。

        用BufferedReader读取文件内容，用正则表达式将单词一行一行的split出来，然后以键为单词，值为出现次数的形式存入TreeMap<String, Integer>，不必要的单词将会有一个方法不会存入TreeMap中。然后根据一个比较器给TreeMap降序排序，最后循环迭代输出前10个。

        具体代码：

public class WordCount {


static WordCount wc = new WordCount();


public static void main(String[] args) throws Exception {
// TODO Auto-generated method stub
FileReader fr = new FileReader("D:\\Test.txt");


TreeMap<String, Integer> tm = wc.initial(fr);
BiggerComparator bc = new BiggerComparator(tm);


TreeMap<String, Integer> sorted_map = new TreeMap<String, Integer>(bc);


// System.out.println(tm);


sorted_map.putAll(tm);
wc.sop(sorted_map);
}


public TreeMap<String, Integer> initial(FileReader fr) throws Exception {


BufferedReader br = new BufferedReader(fr);
String line = null;
String reg1 = "[a-zA-Z][a-z]+";
String reg2 = "\\W"; // \W表示非单词字符
TreeMap<String, Integer> tm = new TreeMap<String, Integer>();
while ((line = br.readLine()) != null) {
String str = line.toLowerCase();
String s[] = str.split(reg2);
for (int i = 0; i < s.length; i++) {
String ss = s[i];
if (ss.matches(reg1) && !wc.nouse().contains(ss)) {
if (tm.containsKey(ss)) {
tm.put(ss, tm.get(ss) + 1);
} else
tm.put(ss, 1);
}
}
}
br.close();
return tm;
}


public void sop(TreeMap<String, Integer> sorted_map) {
Set<Map.Entry<String, Integer>> entryset = sorted_map.entrySet();
Iterator<Map.Entry<String, Integer>> it = entryset.iterator();
for (int i = 1; i <= 10 && it.hasNext(); i++) {
Map.Entry<String, Integer> me = it.next();
String ss = me.getKey();
Integer value = me.getValue();
System.out.println("第" + i + ": " + ss + " : " + value + " .");
}
}


public ArrayList<String> nouse() { // 存放不需要查出的单词。
ArrayList<String> al = new ArrayList<String>();
al.add("is");
al.add("a");
al.add("an");
al.add("the");
al.add("do");
al.add("not");
al.add("me");
al.add("don");
al.add("of");
al.add("are");
al.add("to");
al.add("but");
al.add("and");
al.add("well");
al.add("in");
al.add("on");
al.add("you");
al.add("will");
al.add("was");
al.add("he");
al.add("my");
al.add("she");
al.add("it");
al.add("they");
al.add("be");
al.add("for");
al.add("that");
al.add("your");
al.add("have");
al.add("would");
al.add("his");
al.add("her");
al.add("as");
al.add("so");
al.add("with");
al.add("we");
al.add("what");
al.add("at");
al.add("we");
al.add("had");


return al;
}


}


class BiggerComparator implements Comparator<String> {
TreeMap<String, Integer> base;


public BiggerComparator(TreeMap<String, Integer> base) {
this.base = base;
}


public int compare(String arg0, String arg1) {
// TODO Auto-generated method stub


if (base.get(arg0) < base.get(arg1)) {
return 1;
}
if (base.get(arg0) >= base.get(arg1))
return -1;
return 0;
}
}

测试成功，程序运行结果：

程序性能分析：

总结：

       程序用到IO流读取和一些操作，实现了简单的英文单词计算，还有许多改进的地方，比如中文字的计算，后面会尝试。