利用集群和传递性降低众包实体解析的成本

作者

Lisha Guo
Beihang University
guols@act.buaa.edu.cn

Hailong Sun
Beihang University
sunhl@act.buaa.edu.cn

Xudong Liu
Beihang University
liuxd@act.buaa.edu.cn

摘要

实体解析（Entity Resolution，ER）是识别代表同一实体的数据记录的过程。ER是软件和应用领域中一个非常重要的问题。例如，使用ER检测重复的bug报告可以大大节省开发工作。在大多数情况下，由于ER中涉及复杂的语义分析，人类可以比计算机算法执行得更好。有鉴于此，众包已成功融入ER，以提高其准确性。然而，与计算机方法相比，众包成本更高。在这项工作中，我们提出了一种方法来减少问题的数量，提出了聚类和传递性分析。首先，通过对两个相似性阈值的适当选择，利用无监督机器学习，在一定的相似性度量基础上将记录聚类为多个聚类。这样，我们就可以删掉记录对，而无需询问任何人。其次，我们设计了一个集群合并算法，该算法能够有效地选择众包问题，并利用数据传递性检测同一实体对应的跨集群记录。最后，我们对两个真实数据集进行了广泛的实验，结果表明，我们的方法在产生的成本和F1度量方面明显优于现有的方法。

关键词：众包、软件、实体解析、集群、传递性

介绍

实体解析（ER）是从一个或多个数据源中查找引用同一实体的记录的任务。一方面，通常会发现许多引用同一实体的记录并不完全相同[12]。另一方面，也存在一些看起来相似但实际上指不同实体的记录。在这些情况下，ER任务对计算机来说是非常具有挑战性的，但对人类来说更容易。借助众包平台，我们可以方便地将人力资源工作带入ER流程中[14]。由于人类的计算是昂贵和耗时的，所以向人类提出所有成对的问题是不可行的。本文提出了一种基于聚类和传递性的方法来减少工人的问题对数量。

我们可以利用传递性省略一些多余的问题对。例如，如果a和b指同一实体，b和c指同一（不同）实体，我们可以通过传递性推断a和c指同一（不同）实体，而不要求工人贴标签。此外，我们发现适当的标签顺序有助于减少因传递性而产生的配对数量。假设我们有三对候选标签{（a，b），（b，c），（a，c）}。实际上，只有A和B指的是同一个实体。如果我们按照{（a，b），（a，c），（b，c）}的顺序标注问题对，作为上述传递性，我们只需要标记前两对，并可以推断b和c不指同一个实体。但是，如果标签的顺序变为{（a，c），（b，c），（a，b）}，我们需要标记所有三个候选对。

在我们的方法中，每个记录最初表示一个集群。首先，通过对两个相似性阈值的适当选择，利用无监督机器学习，在一定的相似性度量基础上将记录聚类为多个聚类。这样，我们就可以删掉记录对，而无需询问任何人。然后，在基于传递性的聚类过程中，引入人工来决定是否合并任何两个聚类。此外，我们还设计了一个算法，从候选的集群对中选择最佳的记录对，供人类工人标记。

总之，我们的贡献如下：

• 我们提出了一种混合的ER人机方法，将人类工人引入到集群的进程中。
• 我们提出了传递性的约束条件，并证明利用传递关系来标记候选对可以降低众包实体解析的成本。
• 我们发现聚类过程的顺序对需要标记的记录对数量有显著影响，并进一步提出了一个最佳的聚类顺序。
• 我们设计了一个算法来选择最佳候选对，以供人类工作者决定是否合并集群对。

本文的其余部分组织如下：第2节描述了传递性及其引理。然后，我们提出了一种基于传递性和聚类的算法，以减少第3节中详细描述的标签候选对的数量。接下来，实验结果将在第4节中介绍。最后，我们回顾了第5节中的相关工作，并在第6节中介绍了我们的结论和未来的工作。

准备工作

在本节中，我们首先回顾了传统的基于机器的ER技术，然后描述了相似性和匹配可能性之间的关系。其次，我们建立了传递关系，并提出了传递性的引理。最后，我们简单地证明了这个引理。

相似性估计

传统的基于机器的实体解析技术通常基于相似性估计或机器学习[12]。利用相似度估计技术，将相似度高于给定阈值的记录对视为同一实体。在机器学习领域，记录对被表示为一个由每个属性的相似性组成的向量，而ER成为一个典型的两类分类问题[3]。虽然有许多基于机器的算法来估计记录[3，4，11]之间的相似性，但它们的准确性仍然存在问题。通过将人类工人引入ER过程，提出了一种基于聚类和传递性的方法来减少标签问题的数量，获得更准确的结果。为了利用传递性来减少候选对的数量，聚类过程的顺序至关重要。正如我们之前所讨论的，我们应该优先将更有可能成为同一实体的记录进行集群。从直观上看，相似性与匹配可能性之间似乎存在弱单调性。记录之间的相似性值越高，匹配的可能性就越高。

传递性

在本节中，我们将阐述传递性，并讨论如何利用ER的这个重要约束来减少集群过程中用于标记的对的数量。首先，从正负两个角度给出了传递性的形式化定义。

正传递性：如果R1与R2匹配，R2与R3匹配，则R1与R3匹配。

负传递性：如果R1与R2匹配，R2与R3不匹配，则R1与R3不匹配。