目录
一、实体消歧
当个实体有多个解释的时候,可以通过计算相似度的方式,消除歧义。
比如下面的例子,我们找到 “苹果”的所有解释的描述,转成向量,再将文本中包含“苹果”的句子,转成向量,将这个向量和所有的解释的向量进行相似度计算,选择相似度最高的。
二、实体统一
实体统一是把包含不同的字段的实体,映射到同一个原型上。比如“百度公司”、“百度有限公司”等,全部映射为“百度”。
1.编辑距离
得到两个实体之后,直接计算字符串(代表的就是实体)之间的编辑距离。效果可能一般,但是可以作为baseline使用。
2.基于规则
例如:百度有限公司、百度科技有限公司、百度广州分公司
我们指定几条规则,比如:
第一条:包含“有限公司、分公司、科技有限公司”之类的字眼,就删去
第二条:包含“广州、深圳”等地名的字眼,也删去
这样最后也可以得到一个映射。
3.监督学习方法
该方法和其他监督学习方法基本一致,先准备好训练数据,也就是所有标记为“百度”的实体,对这些实体提取特征,然后进行训练。
提取特征依旧是最重要的一步,以前的文章提到过的方法都可以用,也可以人工添加新特征。
4.基于图的实体统一
如果有些关系可以用图来表示,那么就可以基于图,来寻找相关特征,一方面是实体本身的特征,另一方面是基于图的特征,比如距离等。然后设定一个相似度阈值,超过就合并为一个,否则就保持不变。