中文分词的一些心得体会

 

一些概念：

单纯使用正向最大匹配的错误率是1/169，单纯使用逆向最大匹配的错误率为1/245，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也比较少。

来源：

[3] Steele R，Lee C C，Gould P．GSM，edmaone and 3G Systems[M]．[s．1．]：John Wiley&Sons Ltd，2001．

[4]Homnan B，Bebjapolakul W．QoS—controlling soft handof based on simple step control and a fuzzy inference systems with the gradient descent method[J]．IEEE Transactions Vehicular Technology，2004，53(3)：820—834．

 

中文分词的难点：

1. 歧义词问题

2. 未登录词识别问题