java 城市分词_10大java开元中文分词器

本文的目标有两个：

1、学会使用10大Java开源中文分词器

2、对比分析10 大Java开源中文分词器的分词效果

本文给出了10大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。

10大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样， 我们先定义一个统一的接口：

/**

* 获取文本的所有分词结果, 对比不同分词器结果

* @author 杨尚川

*/

public interface WordSegmenter {

/**

* 获取文本的所有分词结果

* @param text 文本

* @return 所有的分词结果，去除重复

*/

default public Set seg(String text) {

return segMore(text).values().stream().collect(Collectors.toSet());

}

/**

* 获取文本的所有分词结果

* @param text 文本

* @return 所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果

*/

public Map segMore(String text);

}

从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同，这种情况不可以使用重载。

这两个方法的区别在于返回值，每一个分词器都可能有多种分词模式，每种模式的分词结果都可能不相同，第一个方法忽略分词器模式，返回所有模式的所有不重复分词结果，第二个方法返回每一种分词器模式及其对应的分词结果。

在这里，需要注意的是我们使用了Java8中的新特性默认方法，并使用stream把一个map的value转换为不重复的集合。

下面我们利用这10大分词器来实现这个接口：

1、word分词器

@Override

public Map segMore(String text) {

Map map = new HashMap<>();

for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){

map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));

}

return map;

}

private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {

StringBuilder result = new StringBuilder();

for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){

result.append(word.getText()).append(" ");

}

return result.toString();

}

2、Ansj分词器

@Override

public Map segMore(String text) {

Map map = new HashMap<>();

StringBuilder result = new StringBuilder();

for(Term term : BaseAnalysis.parse(text)){

result.append(term.getName()).append(" ");

}

map.put("BaseAnalysis", result.toString());

result.setLength(0);

for(Term term : ToAnalysis.parse(text)){

result.append(term.getName()).append(" ");

}

map.put("ToAnalysis", result.toString());

result.setLength(0);

for(Term term : NlpAnalysis.parse(text)){

result.append(term.getName()).append(" ");

}

map.put("NlpAnalysis", result.toString());

result.setLength(0);

for(Term term : IndexAnalysis.parse(text)){

result.append(term.getName()).append(" ");

}

map.put("IndexAnalysis", result.toString());

return map;

}

3、Stanford分词器

private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");

private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");

private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);

public Map segMor