lucene6.0SmartChineseAnalyzer和IK Analyzer比较

使用IK分词器,需要重写一些功能

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Tokenizer;

public class IKAnalyzer6x extends Analyzer {
	private boolean useSmart;

	public boolean useSmart() {
		return useSmart;
	}

	public void setUseSmart(boolean useSmart) {
		this.useSmart = useSmart;
	}

	public IKAnalyzer6x() {
		this(false); // IK分词器Lucene Analyzer接口实现类;
		// 默认细粒度切分算法
	}

	/**
	 * IK分词器Lucene Analyzer接口实现类;当为true时，分词器进行智能切分
	 *
	 * @param useSmart
	 */
	public IKAnalyzer6x(boolean useSmart) {
		super();
		this.useSmart = useSmart;
	}

	// 重写最新版本的createComponents;重载Analyzer接口，构造分词组件
	@Override
	protected TokenStreamComponents createComponents(String fieldName) {
		Tokenizer _IKTokenizer = new IKTokenizer6x(this.useSmart());
		return new TokenStreamComponents(_IKTokenizer);
	}
}

import java.io.IOException;

import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
import org.apache.lucene.analysis.tokenattributes.TypeAttribute;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

public class IKTokenizer6x extends Tokenizer {
	// IK分词器实现
	private IKSegmenter _IKImplement;
	// 词元文本属性
	private final CharTermAttribute termAtt;
	// 词元位移属性
	private final OffsetAttribute offsetAtt;
	// 词元分类属性
	//(该属性分类参考org.wltea.analyzer.core.Lexeme中的分类常量)
	private final TypeAttribute typeAtt;
	// 记录最后一个词元的结束位置
	private int endPosition;

	// Lucene 6.x Tokenizer适配器类构造函数;实现最新的Tokenizer接口
	public IKTokenizer6x(boolean useSmart) {
		super();
		offsetAtt = addAttribute(OffsetAttribute.class);
		termAtt = addAttribute(CharTermAttribute.class);
		typeAtt = addAttribute(TypeAttribute.class);
		_IKImplement = new IKSegmenter(input, useSmart);
	}

	@Override
	public boolean incrementToken() throws IOException {
		clearAttributes();     // 清除所有的词元属性
		Lexeme nextLexeme = _IKImplement.next();
		if (nextLexeme != null) {
			// 将Lexeme转成Attributes
			termAtt.append(nextLexeme.getLexemeText());   // 设置词元文本
			termAtt.setLength(nextLexeme.getLength());    // 设置词元长度
			offsetAtt.setOffset(nextLexeme.getBeginPosition(),
					nextLexeme.getEndPosition());      // 设置词元位移
			//记录分词的最后位置
			endPosition = nextLexeme.getEndPosition();
			typeAtt.setType(nextLexeme.getLexemeText());  // 记录词元分类
			return true;       // 返回true告知还有下个词元
		}
		return false;      // 返回false告知词元输出完毕
	}

	@Override
	public void reset() throws IOException {
		super.reset();
		_IKImplement.reset(input);
	}

	@Override
	public final void end() {
		int finalOffset = correctOffset(this.endPosition);
		offsetAtt.setOffset(finalOffset, finalOffset);
	}
}

测试比较类

import java.io.IOException;
import java.io.StringReader;

import com.baifan.lucene.ik.IKAnalyzer6x;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.tokenattributes
		.CharTermAttribute;

/**
 * 比较lucene6.0中自带的中文智能分词器SmartChineseAnalyzer和 IK Analyzer
 *
 * @author: baifan
 * @date: 2021/6/7
 */
public class IkVSSmartcn {
	private static String str1 = "公路局正在治理解放大道路面积水问题。";
	private static String str2 = "IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。";

	public static void main(String[] args) throws IOException {
		Analyzer analyzer = null;
		System.out.println("句子一： " + str1);
		System.out.println("SmartChineseAnalyzer分词结果：");
		analyzer = new SmartChineseAnalyzer();
		printAnalyzer(analyzer, str1);
		System.out.println("IKAnalyzer分词结果：");
		analyzer = new IKAnalyzer6x(true);
		printAnalyzer(analyzer, str1);
		System.out.println("------------------------------------");
		System.out.println("句子二：" + str2);
		System.out.println("SmartChineseAnalyzer分词结果：");
		analyzer = new SmartChineseAnalyzer();
		printAnalyzer(analyzer, str2);
		System.out.println("IKAnalyzer分词结果：");
		analyzer = new IKAnalyzer6x(true);
		printAnalyzer(analyzer, str2);
		analyzer.close();
	}

	public static void printAnalyzer(Analyzer analyzer, String str) throws IOException {
		StringReader reader = new StringReader(str);
		TokenStream toStream = analyzer.tokenStream(str, reader);
		toStream.reset();      // 清空流
		CharTermAttribute teAttribute = toStream.getAttribute(CharTermAttribute.class);
		while (toStream.incrementToken()) {
			System.out.print(teAttribute.toString() + "|");
		}
		System.out.println();
	}

结果

句子一： 公路局正在治理解放大道路面积水问题。
SmartChineseAnalyzer分词结果：
公路局|正|在|治理|解放|大|道路|面积|水|问题|
IKAnalyzer分词结果：
公路局|正在|治理|解放|大道|路面|积水|问题|
------------------------------------
句子二：IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。
SmartChineseAnalyzer分词结果：
ikanalyz|是|一个|开|源|的|基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|
IKAnalyzer分词结果：
ikanalyzer|是|一个|开源|的|基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|

最终结论:总体而言，IK Analyzer的中文分词的准确性比SmartChineseAnalyzer要高一些。