盘古分词-中文人名识别

 

盘古分词-中文人名识别

作者: eaglet

     eaglet 曾经在KTDictSeg 中分别尝试使用规则和统计方式来识别中文（汉族）人名，但效果都不理想。在盘古分词 中eaglet另辟它径，采用一种新的算法来识别中文人名，效果相比规则和统计方式要好很多。下面eaglet就来介绍这种中文人名的识别方法。

     要很好的识别中文人名，我们需要对要分解的句子按预处理和消除歧义两个步骤进行处理。

     预处理

     识别中文人名的第一步是进行预处理，预处理的过程是找出要识别的句子中所有可能的中文人名。查找的方式是首先根据姓氏来匹配，找到姓氏后再根据常见的单字 中文名和双字中文名来匹配。盘古分词字典目录下有三个文件分别是 ChsSingleName.txt， ChsDoubleName1.txt， ChsDoubleName2.txt，它们分别表示单字人名，双字人名的首字和双字人名的尾字，根据这三个文件中指定的常用中文名，我们可以完成预处理 的过程。

     比如 张三丰李世民

     其中 “张”、“李”是姓，“三”是常用单字名和常用双字名首字，“世”是常用双字名首字，“民”和“丰”是常用双字名尾字

     这样预处理的结果就是

     张三

     张三丰

     李世民

 

     消除歧义