使用LUCENE快速实现属于自己的英文分词程序——附简单实现

简单的英文分词程序现在已经有很多现成的JAR包实现了此功能，最流行的就是LUCENE里的analysis包，analysis包里包含许多类型的分词器、过滤器、分析器，可以让我们自由组合实现我们需要的功能。

 

使用LUCENE的analysis包，可以快速实现按照字符分割的英文分词，附带过滤停用词功能的分词器（有默认的停用词表，也可以自己指定，指定方式有多种：包括停用词表的文本文档；把停用词加载到容器集合里面等等），词干提取分词器（就是分词器附带stemming功能）等等。

 

以下是我简单实现附带过滤停用词功能的分词器的代码，使用是LUCENE 2.4.0版本实现的。

 

   
    public static ArrayList tokenizer() { 
        ArrayList wordList = new ArrayList();
        try {   
            //stopwords = new File((new File("")).getCanonicalPath()+"/stop_words_eng.txt");           
           // Analyzer textAnalyzer = new StandardAnalyzer(stopwords);
            Analyzer textAnalyzer =