KGEval: Accuracy Estimation of Automatically Constructed Knowledge Graphs

题目： KGEval: Accuracy Estimation of Automatically Constructed Knowledge Graphs
作者： Prakhar Ojha，Partha Talukdar（Indian Institute of Science）
年份： 2017
期刊/会议： EMNLP 2017

1. 简介

由于在自动构建KG过程中的不完善，KG中会出现许多错误的信念(beliefs)或三元组。知道KG中每一个谓词(predicate)的准确性能够对进一步的改进提供针对性的反馈，并做到扬长避短。KG整体的准确性能够量化其构建过程的有效性。了解谓词级粒度(predicate-level granularity)的准确性对于集成来自多个KG的意见的问答(QA)系统非常有帮助。

尽管众包市场，如AMT(Amazon Mechanical Turk)，提供了一个方便的途径来收集人工评判，但是在大尺度KG上成本巨大，因此我们考虑一个信念评估任务(Belief Evaluation Task, BET)，手动地对单个信念进行正误分类，这时，关键的问题转换为：如何挑选一个信念子集来最好地估计KG与其谓词的准确性。

一个原始和流行的方法就是随机地从KG中抽取信念样本子集，但随机抽样忽略了信念之间的共轭关系，通常会导致过度抽样和较差的准确度估计。

本文的主要贡献：

1. 系统性地研究了自动构建的KG的质量评估这一重要问题；
2. 提出了新的基于众包的系统KGEval来估计大尺度KG的准确度，通过探索信念之间的依赖性来获取更精确、更快的准确度估计；
3. 在真实世界KG中做实验，验证KGEval的有效性、鲁棒性和可扩展性。

2. 符号说明

3. KGEval系统

3.1 组合限制(Coupling Constraints)

由于KG富有关系的结构，信念的评价标签经常彼此依赖。在本文中，我们从KG本体和链接预测算法中获取组合限制集合$\mathcal{C}$。

3.2 评估耦合图(Evaluation Coupling Graph, ECG)

为了将所有的信念和约束放置到同一个地方，我们构建一个包含两种类型节点的图：一类节点是BET中的节点 $h\in \mathcal{H}$；另一类节点是约束集合中的约束 ${\mathcal{C}}_i\in \mathcal{C}$，我们称之为ECG，其中节点集 $G=(\mathcal{H}\cap \mathcal{C},\mathcal{E})$，边集 $\mathcal{E}=\{({\mathcal{C}}_i,h)|h\in \text{Dom}({\mathcal{C}}_i),\forall {\mathcal{C}}_i\in \mathcal{C}\}$，ECG是一种二部因子图。如图所示

3.3 推断机制(Inference Mechanism)

推断机制能够利用可获得的耦合约束，将已评价的信念正误标签传递到还未评价的信念上，我们使用概率软逻辑(Probabilistic Soft Logic, PSL)来作为推断引擎。

BET中任何信念的标签 Ω ( H ) ∈ { 0 , 1 } ∣ H ∣ \Omega(\mathcal{H})\in\{0,1\}^{|\mathcal{H}|} Ω(H)∈{0,1}∣H∣ 的概率可以表示为
$$\mathbb{P}(\Omega (\mathcal{H}))=\frac{1}{Z}\exp \left[-\sum _{j=1}^{|\mathcal{C}|}{\theta }_j{\psi }_j({\mathcal{C}}_j)\right]$$
其中$Z$表示正则化系数，势函数${\psi }_j({\mathcal{C}}_i)$表示约束${\mathcal{C}}_i$满足的满意程度，例如${\mathcal{C}}_5=h_x\wedge h_y\to h_w$，则 ψ j ( C 5 ) = ( max ⁡ { 0 , h x + h y − 1 − h w } ) 2 \psi_j(\mathcal{C}_5)=(\max\{0,h_x+h_y-1-h_w\})^2 ψj​(C5​)=(max{0,hx​+hy​−1−hw​})2。这样我们将问题转化为最大后验(maximum a-posteriori, MAP)的优化问题，如下
$$\Omega (\mathcal{H}{)}_{PSL}=\underset{\Omega (\mathcal{H})}{\mathrm{argmax}}\mathbb{P}(\Omega (\mathcal{H}))$$
我们将标注为 γ ∈ { 0 , 1 } \gamma\in\{0,1\} γ∈{0,1}的BET$h$估计得分表示为$M_{PSL}(h,\gamma )\in [0,1]$，我们取
$$l(h)=\{\begin{array}{ll}1& \text{if }{M}_{PSL}(h,1)\ge \tau \\ 0& \text{if }{M}_{PSL}(h,0)\ge \tau \\ \varnothing & \text{otherwise}\end{array}$$
其中阈值$\tau$为超参数。得到推断集合(Inferable Set) I ( G , Q ) = { h ∈ H ∣ l ( h ) ≠ ∅ } \mathcal{I}(G,\mathcal{Q})=\{h\in\mathcal{H}|l(h)\neq\empty\} I(G,Q)={h∈H∣l(h)=∅}。

注意到ECG中的两个BET节点可以通过不同的约束节点进行不同强度的相互作用，这种多关系结构需要软概率进行传播。

3.4 控制机制(Control Mechanism)

在每一轮迭代过程中，控制机制选择一个BET进行众包评估，我们最终要解决的优化问题是找到一个合适的已评价的BET使得推断集合最大，可表示为下面的优化问题：
$$\underset{\mathcal{Q}\subseteq \mathcal{H}}{\mathrm{argmax}}|\mathcal{I}(G,\mathcal{Q})|$$
可以证明该问题是Submodularity和NP-Hard的，利用贪婪爬坡算法，我们能够保证$(1-1/e)\approx 63\%$的近似求解。

3.5 KGEval算法

算法中的收敛意为得到的估计精确度 $[{\text{Acc}}_{t-k},\dots ,{\text{Acc}}_{t-1},{\text{Acc}}_t]$的方差小于 $\alpha$。

4. 实验结果

4.1 实验准备

数据集

评估表现的计量方式

• 谓词层面，估计的准确度和标准的准确度的平均差值：
  $${\Delta }_{predicate}=\frac{1}{|R|}\left(\sum _{\forall r\in R}\left|\Phi ({\mathcal{H}}_r)-\frac{1}{|{\mathcal{H}}_r|}\sum _{\forall h\in {\mathcal{H}}_r}l(h)\right|\right)$$
• 整体层面，估计的准确度和标准的准确度的平均差值：
  $${\Delta }_{overall}=\left|\Phi (\mathcal{H})-\frac{1}{|\mathcal{H}|}\sum _{\forall h\in \mathcal{H}}l(h)\right|$$

4.2 KGEval估计KG准确度的效果

这里我们比较KGEval和随机方法整体层面计算的误差落到每个谓词上的误差，由于KGEval考虑了信念之间的耦合关联，所以对一个信念的评估能够对其他信念的评估起到帮助。

4.3 模型中组合限制的重要性

4.4 信念评估覆盖率

X轴为参与众包评估的信念数目。

4.5 鲁棒性