最近在处理关于人名消歧义的专利数据,有几点需要注意的地方记录下来。
数据主要的有几种:1.不重名的姓名集合,以字符串格式存在多个cell中,类似{‘王一’,‘王二’,‘王三’}。
2.合作网络邻接矩阵,以矩阵格式存储。
3.每个姓名的专利号array存在cell中。
现在需要处理的问题是姓名中可能存在着拼写错误,或书写错误。比如{‘王峰’,和‘王锋’}可能是同一个人,现在需要依靠已有的合作者信息和每个姓名对应的专利号信息尽可能的将这种错误找出来。初步处理的思路是:将错误分成两大类,一类是拼音拼写错误简称,同音错误;另一类是字形相似书写错误,简称同形错误。那么就把姓名集合中,拼音拼写相同的提取出来,利用分类号和合作者的相似度建立logistics回归模型,划分阈值进行判断,类似于分类问题,同形错误处理方法也类似。
在计算分类号和合作者的相似度时,使用的方法是两者的交集除以两者的并集,这里就涉及到了求两组向量和两个cell之间的交集和并集。