hadoop学习过程-2013.08.30.2--初次使用IKAnalyzer来切词--切词试验

代码如下：

package test;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;

/**
 * 切词演示
 * @author caogl
 *
 */
public class IKAnalyzerTest {
    public static void main(String[] args) throws Exception{
    	new IKAnalyzerTest().testIKAnalyzer();
    }
    
    public void testIKAnalyzer() throws Exception {
        
        String keyWord = "2013年欧洲杯四强赛";
//        String keyWord = "中方数月内三度警告美方勿干涉香港内政 ";
        
        IKAnalyzer analyzer = new IKAnalyzer();
        
        //使用智能分词
        analyzer.setUseSmart(true);
        
        //打印分词结果
        printAnalysisResult(analyzer,keyWord);
        
    }
    
    /**
     * 打印出给定分词器的切词结果
     */
    private void printAnalysisResult(Analyzer analyzer, String keyWord) throws Exception {
//        System.out.println("当前使用的分词器：" + analyzer.getClass().getSimpleName());
        TokenStream tokenStream = analyzer.tokenStream("content", new StringReader(keyWord));
        tokenStream.addAttribute(CharTermAttribute.class);
        CharTermAttribute charTermAttribute = null;
        
        //以下循环中charTermAttribute.termBuffer是同一个对象
        while (tokenStream.incrementToken()) {
            charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);
//            System.out.println(new String(charTermAttribute.buffer()));
            System.out.println(new String(charTermAttribute.toString()));
        }

    }
}

 

 

依赖的jar包：

IKAnalyzer2012_u6/IKAnalyzer2012_u6.jar

lucene-3.6.0/lucene-core-3.6.0.jar

 

程序输出结果分析：

 输出结果是: (#之间的为输出，不包括单引号)  #
2013年
欧洲杯3年
四强赛3年
#
每一行后面都有9个类似'口'的符号。输出结果解释如下：
第一次进循环时, charTermAttribute.termBuffer内容为
['2', '0', '1', '3', '年', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000']
第二次进循环时, charTermAttribute.termBuffer内容为
['欧', '洲', '杯', '3', '年', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000']
第三次进循环时, charTermAttribute.termBuffer内容为
['四', '强', '赛', '3', '年', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000', '\u0000']
因此产生了上述输出。

当然了如果输出charTermAttribute.toString()，程序输出结果是:  #
2013年
欧洲杯
四强赛
#
得到的内容正常了，不再包括上次循环的内容。