lucene-2.4整合"庖丁解牛"

测试用的Lucene版本是lucene-2.4.0,它已经能够支持中文分词,但它是采用一元分词(逐字拆分)的方法,即把每一个汉字当作是一个词,这样会使建立的索引非常庞大,会影响查询效率.所以大多运用lucene的朋友,都会考虑使用其它的中文分词包,这里我就介绍最为常用的"庖丁解牛"分词包,当然它也是一个值得推荐的中文分词包.
        本文主要讲解Lucene如何整合"庖丁解牛"分词包,在整合前,还是先通过一个实例演示一下Lucene自带的中文分词器的分词效果. 
   

import java.io.StringReader; 
import org.apache.lucene.analysis.Analyzer; 
import org.apache.lucene.analysis.Token; 
import org.apache.lucene.analysis.TokenStream; 
import org.apache.lucene.analysis.standard.StandardAnalyzer; 
//测试Lucene自带的中文分词器     
public class LuceneAnalyzer { 
    public static void main(String[] args) throws Exception { 
        //StandardAnalyzer: 一元分词   
        Analyzer analyzer = new StandardAnalyzer(); 
        String  indexStr = "现在来做个测试，使用庖丁解牛"; 
        StringReader reader = new StringReader(indexStr); 
        TokenStream ts = analyzer.tokenStream(indexStr, reader); 
        Token t = ts.next(); 
        while (t != null) { 
            System.out.print(t.termText()+"  "); 
            t = ts.next(); 
        } 
    } 
} 

 
分词结果:现  在  来  做  个  测  试  使  用  庖  丁  解  牛 

        通过上面的例子就会发现,Lucene自带分词器是将中文逐字拆分的,这是最为原始的分词方法,现在大都不采用.
        下面进入主题,来讲解Lucene和"庖丁解牛"中文分词包的整合.
        "庖丁解牛"的下载地址是http://code.google.com/p/paoding/downloads/list,下载好后解压,我解压在E:\paoding2_0_4,进入该目录,首先将paoding-analysis.jar拷贝到项目的lib目录;接着需要设置环境变量PAODING_DIC_HOME,变量名:PAODING_DIC_HOME 变量值:E:\paoding2_0_4\dic 第三步将E:\paoding2_0_4\src目录下的paoding-dic-home.properties属性文件拷贝到项目的src目录下,添加一行paoding.dic.home=E:/paoding2_0_4/dic 好了,到这里,已经完成了Lucene和"庖丁解牛"的整合,下面写个例子来测试一下. 
   

package search_part;
import net.paoding.analysis.analyzer.PaodingAnalyzer;

import java.io.IOException;
import java.io.StringReader; 
import org.apache.lucene.analysis.Analyzer; 
import org.apache.lucene.analysis.Token; 
import org.apache.lucene.analysis.TokenStream; 

public class PaodingAnalyzer_test {
	public static void main(String[] args) throws Exception { 
    	// 获取Paoding中文分词器   
        //Analyzer analyzer = new PaodingAnalyzer();   
		try{
    	   
        Analyzer analyzer = new PaodingAnalyzer(); 
        String  indexStr = "现在来做个测试，使用庖丁解牛"; 
        StringReader reader = new StringReader(indexStr); 
        TokenStream ts = analyzer.tokenStream(indexStr, reader); 
        Token t = ts.next(); 
        while (t != null) { 
            System.out.print(t.termText()+"  "); 
            t = ts.next(); 
        } 
    }catch(Exception e){
        System.err.println(e.getMessage());
    }
} 


}

 分词结果:现在  做个  测试  使用  庖丁  庖丁解牛  

        很明显,它的分词效果要比Lucene自带的中文分词器的效果好的多.