简单的英文分词程序现在已经有很多现成的JAR包实现了此功能,最流行的就是LUCENE里的analysis包,analysis包里包含许多类型的分词器、过滤器、分析器,可以让我们自由组合实现我们需要的功能。
使用LUCENE的analysis包,可以快速实现按照字符分割的英文分词,附带过滤停用词功能的分词器(有默认的停用词表,也可以自己指定,指定方式有多种:包括停用词表的文本文档;把停用词加载到容器集合里面等等),词干提取分词器(就是分词器附带stemming功能)等等。
以下是我简单实现附带过滤停用词功能的分词器的代码,使用是LUCENE 2.4.0版本实现的。
public static ArrayList tokenizer() {
ArrayList wordList = new ArrayList();
try {
//stopwords = new File((new File("")).getCanonicalPath()+"/stop_words_eng.txt");
// Analyzer textAnalyzer = new StandardAnalyzer(stopwords);
Analyzer textAnalyzer =