分词工具小结

中科院计算所NLPIR http://ictclas.nlpir.org/nlpir/
ansj分词器 https://github.com/NLPchina/ansj_seg
哈工大的LTP https://github.com/HIT-SCIR/ltp
清华大学THULAC https://github.com/thunlp/THULAC
斯坦福分词器，Java实现的CRF算法。 https://nlp.stanford.edu/software/segmenter.shtml
Hanlp分词器，求解的是最短路径。 https://github.com/hankcs/HanLP
结巴分词，基于前缀词典，生成句子中所有可能成词所构成的有向无环图 (DAG)，采用动态规划查找最大概率路径, 找出基于词频的最大切分组合，对于未登录词，采用了 HMM 模型，使用 Viterbi 算法。 https://github.com/yanyiwu/cppjieba
KCWS分词器(字嵌入+Bi-LSTM+CRF)，本质上是序列标注。 https://github.com/koth/kcws
ZPar https://github.com/frcchang/zpar/releases
IKAnalyzer https://github.com/wks/ik-analyzer

作者：不会停的蜗牛
链接：https://www.jianshu.com/p/6c085bf1086f
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。