lucene smartcn原理

Smartcn分词器是ictclas简化功能的java版

Smartcn分词三步：1）原子切分；2）找出原子之间所有可能的组词方案；3）N-最短路径中文词语粗分三步。

例如：“他说的确实在理”这句话。

1）原子切分的目的是完成单个汉字的切分。经过原子切分后变成“始##始/他/说/的/确/实/在/理/末##末”。

2）然后根据“词库字典coredict”找出所有原子之间所有可能的组词方案。经过词库检索后，该句话变为“始##始/他/说/的/的确/确/确实/实/实在/在/在理/理/末##末”。

图1

3）N-最短路径中文词语粗分，smartCN用的是1-最短路径。首先我们要找出这些词之间所有可能的两两组合的距离（这需要检索BigramDict词典库,图2的权值）。

图2

 

图3：图2的逻辑表示

 

用动态规划的方法容易求得出最短路径：

例如从节点0到5消耗是1+2+3+5 = 3.3+2.2+4.1+4.1 = 13.7

从节点0到4消耗是1+2+4 = 3.3+2.2+7.1 = 12.6

节点7的消耗是min(5->7, 4->7) = min(13.7+11.6 , 12.6 + 11.5) = 28.1 路径4->7

...

求出最短路径，就找出了分词短句的结果。

 

总结一下smartcn的核心：coredict用来存词，用来扩展单字。

Bigramdict用来存跳转频率。最后用最短路径算法求最佳切分方式。Bigramdict怎么来的，从训练语料里统计出来的。最短路径求解体现了一定的语义分析，代价就是Bigramdict需要训练。

Smartcn不能扩展词库，因为Bigramdict中没有对应的关联，如果要扩展得两个一起。

 

写的有点仓促，蛮多精华没介绍到，想看更多细节可以看这里

http://www.ictclas.org/content_c_005.html

http://www.cnblogs.com/zhenyulu/articles/668035.html

下一步我想用CRF训练的结果生成新的coredict跟bigramdict，看下行不行。近年来CRF的结果已经远远优于机械的方法了，也就是用新方法结果来训练旧机器.