今天,主要来介绍一个Go语言的中文分词器,即sego。本分词器是由陈辉写的,他的微博在这里,github详
见此处。由于之前他在Google,所以对Go语言特别熟悉。sego的介绍如下
sego是Go语言的中文分词器,词典用前缀树实现, 分词器算法为基于词频的最短路径加动态规划。
支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行JSON RPC服务。
分词速度单线程2.7MB/s,goroutines并发13MB/s, 处理器Core i7-3615QM 2.30GHz 8核。
接下来,以如下几个方面来介绍sego
1. sego的安装
2. sego的原理
3. sego的使用
1. sego的安装