前言:
谈到中文分词,前些年我可能感觉有点可望而不可即,不过现在倒是有这个自信和大家吹吹水了。不久前根据自己已有的原材料写了一个分词并标注姓名的小程序,因为和ictclas有些不同,故此分享出来。ictclas被研究的很多了,我没有去看源码,看了几个不同版本的分析;因为之前也看过《算法导论》和《数据结构》,倒是没有什么理解上的困难。他大体分为4个主要步骤:原子切分、top-N最优路径粗切分、未登陆此识别(姓名的识别就含在此内了)、二元优化切分,数据结构则是采用的字典hash+二叉树。
ictclas的词性标注
先介绍一篇博文 http://blog.csdn.net/dancefire/article/details/1606603 《中科院中文分词系统ICTCLAS之人名识别词典分析》。这姓名标记方法中,咋一看还是有些复杂:步骤很多,需要考虑情况很多。但是分词中用到的知识是很有限的:某一些词的后面比较容易出现姓名(如:他