NLP-实体消歧/实体统一

目录

一、实体消歧

二、实体统一

1.编辑距离

2.基于规则

3.监督学习方法

4.基于图的实体统一

---

一、实体消歧

当个实体有多个解释的时候，可以通过计算相似度的方式，消除歧义。

比如下面的例子，我们找到 “苹果”的所有解释的描述，转成向量，再将文本中包含“苹果”的句子，转成向量，将这个向量和所有的解释的向量进行相似度计算，选择相似度最高的。

二、实体统一

实体统一是把包含不同的字段的实体，映射到同一个原型上。比如“百度公司”、“百度有限公司”等，全部映射为“百度”。

1.编辑距离

得到两个实体之后，直接计算字符串（代表的就是实体）之间的编辑距离。效果可能一般，但是可以作为baseline使用。

2.基于规则

例如：百度有限公司、百度科技有限公司、百度广州分公司

我们指定几条规则，比如：

第一条：包含“有限公司、分公司、科技有限公司”之类的字眼，就删去

第二条：包含“广州、深圳”等地名的字眼，也删去

这样最后也可以得到一个映射。

3.监督学习方法

该方法和其他监督学习方法基本一致，先准备好训练数据，也就是所有标记为“百度”的实体，对这些实体提取特征，然后进行训练。

提取特征依旧是最重要的一步，以前的文章提到过的方法都可以用，也可以人工添加新特征。

4.基于图的实体统一

如果有些关系可以用图来表示，那么就可以基于图，来寻找相关特征，一方面是实体本身的特征，另一方面是基于图的特征，比如距离等。然后设定一个相似度阈值，超过就合并为一个，否则就保持不变。