10大java开元中文分词器

最新推荐文章于 2024-07-06 11:24:09 发布

a364481014

最新推荐文章于 2024-07-06 11:24:09 发布

阅读量142

点赞数

文章标签： java

原文链接：http://www.cnblogs.com/Sun-godless/p/5629046.html

版权

本文的目标有两个：

1、学会使用10大Java开源中文分词器

2、对比分析10 大Java开源中文分词器的分词效果

本文给出了10大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。

10大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口：

/**
 * 获取文本的所有分词结果, 对比不同分词器结果
 * @author 杨尚川
 */
public interface WordSegmenter { /** * 获取文本的所有分词结果 * @param text 文本 * @return 所有的分词结果，去除重复 */ default public Set<String> seg(String text) { return segMore(text).values().stream().collect(Collectors.toSet()); } /** * 获取文本的所有分词结果 * @param text 文本 * @return 所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果 */ public Map<String, String> segMore(String text); }

从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同，这种情况不可以使用重载。

这两个方法的区别在于返回值，每一个分词器都可能有多种分词模式，每种模式的分词结果都可能不相同，第一个方法忽略分词器模式，返回所有模式的所有不重复分词结果，第二个方法返回每一种分词器模式及其对应的分词结果。

在这里，需要注意的是我们使用了Java8中的新特性默认方法，并使用stream把一个map的value转换为不重复的集合。

下面我们利用这10大分词器来实现这个接口：

1、word分词器

@Override
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
 for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){   map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));  }  return map; } private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {  StringBuilder result = new StringBuilder();  for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){   result.append(word.getText()).append(" ");  }  return result.toString(); }

2、Ansj分词器

@Override
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
 StringBuilder result = new StringBuilder();  for(Term term : BaseAnalysis.parse(text)){   result.append(term.getName()).append(" ");  }  map.put("BaseAnalysis", result.toString());  result.setLength(0);  for(Term term : ToAnalysis.parse(text)){   result.append(term.getName()).append(" ");  }  map.put("ToAnalysis", result.toString());  result.setLength(0);  for(Term term : NlpAnalysis.parse(text)){   result.append(term.getName()).append(" ");  }  map.put("NlpAnalysis", result.toString());  result.setLength(0);  for(Term term : IndexAnalysis.parse(text)){   result.append(term.getName()).append(" ");  }  map.put("IndexAnalysis", result.toString());  return map; }

3、Stanford分词器

private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");
private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku"); private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false); public Map<String, String> segMore(String text) {  Map<String, String> map = new HashMap<>();  map.put("Stanford Beijing University segmentation", seg(PKU, text));  map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));  return map; } private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){  PrintStream err = System.err;  System.setErr(NULL_PRINT_STREAM);  Annotation document = new Annotation(text);  stanfordCoreNLP.annotate(document);  List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);  StringBuilder result = new StringBuilder();  for(CoreMap sentence: sentences) {   for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {    String word = token.get(CoreAnnotations.TextAnnotation.class);;    result.append(word).append(" ");   }  }  System.setErr(err);  return result.toString(); }

4、FudanNLP分词器

private static CWSTagger tagger = null;
static{
  try{   tagger = new CWSTagger("lib/fudannlp_seg.m");   tagger.setEnFilter(true);  }catch(Exception e){   e.printStackTrace();  } } @Override public Map<String, String> segMore(String text) {  Map<String, String> map = new HashMap<>();  map.put("FudanNLP", tagger.tag(text));  return map; }

5、Jieba分词器

private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();
@Override
public Map<String, String> segMore(String text) {
 Map<String, String> map = new HashMap<>();  map.put("INDEX", seg(text, SegMode.INDEX));  map.put("SEARCH", seg(text, SegMode.SEARCH));  return map; } private static String seg(String text, SegMode segMode) {  StringBuilder result = new StringBuilder();  for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){   result.append(token.word.getToken()).append(" ");  }  return result.toString(); }

6、Jcseg分词器

private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();
private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG); static {  CONFIG.setLoadCJKSyn(false);  CONFIG.setLoadCJKPinyin(false); } @Override public Map<String, String> segMore(String text) {  Map<String, String> map = new HashMap<>();  map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));  map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));  return map; } private String segText(String text, int segMode) {  StringBuilder result = new StringBuilder();  try {   ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});   IWord word = null;   while((word=seg.next())!=null) {    result.append(word.getValue()).append(" ");   }  } catch (Exception ex) {   throw new RuntimeException(ex);  }  return result.toString(); }

7、MMSeg4j分词器

private static final Dictionary DIC = Dictionary.getInstance();
private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC); private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC); private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC); @Override public Map<String, String> segMore(String text) {  Map<String, String> map = new HashMap<>();  map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));  map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));  map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));  return map; } private String segText(String text, Seg seg) {  StringBuilder result = new StringBuilder();  MMSeg mmSeg = new MMSeg(new StringReader(text), seg);  try {   Word word = null;   while((word=mmSeg.next())!=null) {    result.append(word.getString()).append(" ");   }  } catch (IOException ex) {   throw new RuntimeException(ex);  }  return result.toString(); }

8、IKAnalyzer分词器

@Override
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
 map.put("智能切分", segText(text, true));  map.put("细粒度切分", segText(text, false));  return map; } private String segText(String text, boolean useSmart) {  StringBuilder result = new StringBuilder();  IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);  try {   Lexeme word = null;   while((word=ik.next())!=null) {    result.append(word.getLexemeText()).append(" ");   }  } catch (IOException ex) {   throw new RuntimeException(ex);  }  return result.toString(); }

9、Paoding分词器

private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();
@Override public Map<String, String> segMore(String text) {  Map<String, String> map = new HashMap<>();  map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));  map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));  return map; } private static String seg(String text, int mode){  ANALYZER.setMode(mode);  StringBuilder result = new StringBuilder();  try {   Token reusableToken = new Token();   TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));   Token token = null;   while((token = stream.next(reusableToken)) != null){    result.append(token.term()).append(" ");   }  } catch (Exception ex) {   throw new RuntimeException(ex);  }  return result.toString(); }

10、smartcn分词器

private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();
@Override
public Map<String, String> segMore(String text) {
 Map<String, String> map = new HashMap<>();  map.put("smartcn", segText(text));  return map; } private static String segText(String text) {  StringBuilder result = new StringBuilder();  try {   TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text));   tokenStream.reset();   while (tokenStream.incrementToken()){    CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);    result.append(charTermAttribute.toString()).append(" ");   }   tokenStream.close();  }catch (Exception e){   e.printStackTrace();  }  return result.toString(); }

现在我们已经实现了本文的第一个目的：学会使用10大Java开源中文分词器。

最后我们来实现本文的第二个目的：对比分析 10 大Java开源中文分词器的分词效果，程序如下：

public static Map<String, Set<String>> contrast(String text){
  Map<String, Set<String>> map = new LinkedHashMap<>();  map.put("word分词器", new WordEvaluation().seg(text));  map.put("Stanford分词器", new StanfordEvaluation().seg(text));  map.put("Ansj分词器", new AnsjEvaluation().seg(text));  map.put("FudanNLP分词器", new FudanNLPEvaluation().seg(text));  map.put("Jieba分词器", new JiebaEvaluation().seg(text));  map.put("Jcseg分词器", new JcsegEvaluation().seg(text));  map.put("MMSeg4j分词器", new MMSeg4jEvaluation().seg(text));  map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().seg(text));  map.put("Paoding分词器", new PaodingEvaluation().seg(text));  map.put("smartcn分词器", new SmartCNEvaluation().seg(text));  return map; } public static Map<String, Map<String, String>> contrastMore(String text){  Map<String, Map<String, String>> map = new LinkedHashMap<>();  map.put("word分词器", new WordEvaluation().segMore(text));  map.put("Stanford分词器", new StanfordEvaluation().segMore(text));  map.put("Ansj分词器", new AnsjEvaluation().segMore(text));  map.put("FudanNLP分词器", new FudanNLPEvaluation().segMore(text));  map.put("Jieba分词器", new JiebaEvaluation().segMore(text));  map.put("Jcseg分词器", new JcsegEvaluation().segMore(text));  map.put("MMSeg4j分词器", new MMSeg4jEvaluation().segMore(text));  map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().segMore(text));  map.put("Paoding分词器", new PaodingEvaluation().segMore(text));  map.put("smartcn分词器", new SmartCNEvaluation().segMore(text));  return map; } public static void show(Map<String, Set<String>> map){  map.keySet().forEach(k -> {   System.out.println(k + " 的分词结果：");   AtomicInteger i = new AtomicInteger();   map.get(k).forEach(v -> {    System.out.println("\t" + i.incrementAndGet() + " 、" + v);   });  }); } public static void showMore(Map<String, Map<String, String>> map){  map.keySet().forEach(k->{   System.out.println(k + " 的分词结果：");   AtomicInteger i = new AtomicInteger();   map.get(k).keySet().forEach(a -> {    System.out.println("\t" + i.incrementAndGet()+ " 、【" + a + "】\t" + map.get(k).get(a));   });  }); } public static void main(String[] args) {  show(contrast("杨尚川是APDPlat应用级产品开发平台的作者"));  showMore(contrastMore("杨尚川是APDPlat应用级产品开发平台的作者")); }

运行结果如下：

word分词器 的分词结果：
  1 、杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  2 、杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
Stanford分词器 的分词结果：
  1 、杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
 2 、杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 Ansj分词器 的分词结果：  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者  2 、杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者  3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者  4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 FudanNLP分词器 的分词结果：  1 、杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者 Jieba分词器 的分词结果：  1 、杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者  2 、杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 Jcseg分词器 的分词结果：  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者  2 、杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 MMSeg4j分词器 的分词结果：  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 IKAnalyzer分词器 的分词结果：  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 Paoding分词器 的分词结果：  1 、杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者 smartcn分词器 的分词结果：  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平 台 的 作者

word分词器 的分词结果：
  1 、【全切分算法】	杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  2 、【双向最大最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  3 、【正向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  4 、【双向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  5 、【逆向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
 6 、【正向最小匹配算法】 杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者  7 、【双向最小匹配算法】 杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者  8 、【逆向最小匹配算法】 杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 Stanford分词器 的分词结果：  1 、【Stanford Chinese Treebank segmentation】 杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者  2 、【Stanford Beijing University segmentation】 杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 Ansj分词器 的分词结果：  1 、【BaseAnalysis】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者  2 、【IndexAnalysis】 杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者  3 、【ToAnalysis】 杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者  4 、【NlpAnalysis】 杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 FudanNLP分词器 的分词结果：  1 、【FudanNLP】 杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者 Jieba分词器 的分词结果：  1 、【SEARCH】 杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者  2 、【INDEX】 杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者 Jcseg分词器 的分词结果：  1 、【简易模式】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者  2 、【复杂模式】 杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 MMSeg4j分词器 的分词结果：  1 、【SimpleSeg】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者  2 、【ComplexSeg】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者  3 、【MaxWordSeg】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 IKAnalyzer分词器 的分词结果：  1 、【智能切分】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者  2 、【细粒度切分】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 Paoding分词器 的分词结果：  1 、【MAX_WORD_LENGTH_MODE】 杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者  2 、【MOST_WORDS_MODE】 杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者 smartcn分词器 的分词结果：  1 、【smartcn】 杨 尚 川 是 apdplat 应用 级 产品 开发 平 台 的 作者