题目: KGEval: Accuracy Estimation of Automatically Constructed Knowledge Graphs
作者: Prakhar Ojha,Partha Talukdar(Indian Institute of Science)
年份: 2017
期刊/会议: EMNLP 2017
1. 简介
由于在自动构建KG过程中的不完善,KG中会出现许多错误的信念(beliefs)或三元组。知道KG中每一个谓词(predicate)的准确性能够对进一步的改进提供针对性的反馈,并做到扬长避短。KG整体的准确性能够量化其构建过程的有效性。了解谓词级粒度(predicate-level granularity)的准确性对于集成来自多个KG的意见的问答(QA)系统非常有帮助。
尽管众包市场,如AMT(Amazon Mechanical Turk),提供了一个方便的途径来收集人工评判,但是在大尺度KG上成本巨大,因此我们考虑一个信念评估任务(Belief Evaluation Task, BET),手动地对单个信念进行正误分类,这时,关键的问题转换为:如何挑选一个信念子集来最好地估计KG与其谓词的准确性。
一个原始和流行的方法就是随机地从KG中抽取信念样本子集,但随机抽样忽略了信念之间的共轭关系,通常会导致过度抽样和较差的准确度估计。
本文的主要贡献:
- 系统性地研究了自动构建的KG的质量评估这一重要问题;
- 提出了新的基于众包的系统KGEval来估计大尺度KG的准确度,通过探索信念之间的依赖性来获取更精确、更快的准确度估计;
- 在真实世界KG中做实验,验证KGEval的有效性、鲁棒性和可扩展性。
2. 符号说明
3. KGEval系统
3.1 组合限制(Coupling Constraints)
由于KG富有关系的结构,信念的评价标签经常彼此依赖。在本文中,我们从KG本体和链接预测算法中获取组合限制集合 C \mathcal{C} C。
3.2 评估耦合图(Evaluation Coupling Graph, ECG)
为了将所有的信念和约束放置到同一个地方,我们构建一个包含两种类型节点的图:一类节点是BET中的节点 h ∈ H h\in\mathcal{H} h∈H;另一类节点是约束集合中的约束 C i ∈ C \mathcal{C}_i\in\mathcal{C} Ci∈C,我们称之为ECG,其中节点集 G = ( H ∩ C , E ) G=(\mathcal{H}\cap\mathcal{C},\mathcal{E}) G=(H∩C,E),边集 E = { ( C i , h ) ∣ h ∈ Dom ( C i ) , ∀ C i ∈ C } \mathcal{E}=\{(\mathcal{C}_i, h)|h\in\text{Dom}(\mathcal{C}_i),\forall\mathcal{C}_i\in\mathcal{C}\} E={(Ci,h)∣h∈Dom(Ci),∀Ci∈C},ECG是一种二部因子图。如图所示
3.3 推断机制(Inference Mechanism)
推断机制能够利用可获得的耦合约束,将已评价的信念正误标签传递到还未评价的信念上,我们使用概率软逻辑(Probabilistic Soft Logic, PSL)来作为推断引擎。
BET中任何信念的标签
Ω
(
H
)
∈
{
0
,
1
}
∣
H
∣
\Omega(\mathcal{H})\in\{0,1\}^{|\mathcal{H}|}
Ω(H)∈{0,1}∣H∣ 的概率可以表示为
P
(
Ω
(
H
)
)
=
1
Z
exp
[
−
∑
j
=
1
∣
C
∣
θ
j
ψ
j
(
C
j
)
]
\mathbb{P}(\Omega(\mathcal{H}))=\frac{1}{Z}\exp\left[-\sum_{j=1}^{|\mathcal{C}|}\theta_j\psi_j(\mathcal{C}_j)\right]
P(Ω(H))=Z1exp
−j=1∑∣C∣θjψj(Cj)
其中
Z
Z
Z表示正则化系数,势函数
ψ
j
(
C
i
)
\psi_j(\mathcal{C}_i)
ψj(Ci)表示约束
C
i
\mathcal{C}_i
Ci满足的满意程度,例如
C
5
=
h
x
∧
h
y
→
h
w
\mathcal{C}_5=h_x\land h_y\rightarrow h_w
C5=hx∧hy→hw,则
ψ
j
(
C
5
)
=
(
max
{
0
,
h
x
+
h
y
−
1
−
h
w
}
)
2
\psi_j(\mathcal{C}_5)=(\max\{0,h_x+h_y-1-h_w\})^2
ψj(C5)=(max{0,hx+hy−1−hw})2。这样我们将问题转化为最大后验(maximum a-posteriori, MAP)的优化问题,如下
Ω
(
H
)
P
S
L
=
arg max
Ω
(
H
)
P
(
Ω
(
H
)
)
\Omega(\mathcal{H})_{PSL}=\argmax_{\Omega(\mathcal{H})}\mathbb{P}(\Omega(\mathcal{H}))
Ω(H)PSL=Ω(H)argmaxP(Ω(H))
我们将标注为
γ
∈
{
0
,
1
}
\gamma\in\{0,1\}
γ∈{0,1}的BET
h
h
h估计得分表示为
M
P
S
L
(
h
,
γ
)
∈
[
0
,
1
]
M_{PSL}(h,\gamma)\in[0,1]
MPSL(h,γ)∈[0,1],我们取
l
(
h
)
=
{
1
if
M
P
S
L
(
h
,
1
)
≥
τ
0
if
M
P
S
L
(
h
,
0
)
≥
τ
∅
otherwise
l(h)=\begin{cases} 1 &\text{if } M_{PSL}(h,1) \ge\tau\\ 0 &\text{if } M_{PSL}(h,0) \ge\tau\\ \empty &\text{otherwise} \end{cases}
l(h)=⎩
⎨
⎧10∅if MPSL(h,1)≥τif MPSL(h,0)≥τotherwise
其中阈值
τ
\tau
τ为超参数。得到推断集合(Inferable Set)
I
(
G
,
Q
)
=
{
h
∈
H
∣
l
(
h
)
≠
∅
}
\mathcal{I}(G,\mathcal{Q})=\{h\in\mathcal{H}|l(h)\neq\empty\}
I(G,Q)={h∈H∣l(h)=∅}。
注意到ECG中的两个BET节点可以通过不同的约束节点进行不同强度的相互作用,这种多关系结构需要软概率进行传播。
3.4 控制机制(Control Mechanism)
在每一轮迭代过程中,控制机制选择一个BET进行众包评估,我们最终要解决的优化问题是找到一个合适的已评价的BET使得推断集合最大,可表示为下面的优化问题:
arg max
Q
⊆
H
∣
I
(
G
,
Q
)
∣
\argmax_{\mathcal{Q}\subseteq\mathcal{H}}|\mathcal{I}(G,\mathcal{Q})|
Q⊆Hargmax∣I(G,Q)∣
可以证明该问题是Submodularity和NP-Hard的,利用贪婪爬坡算法,我们能够保证
(
1
−
1
/
e
)
≈
63
%
(1-1/e)\approx63\%
(1−1/e)≈63%的近似求解。
3.5 KGEval算法
算法中的收敛意为得到的估计精确度
[
Acc
t
−
k
,
…
,
Acc
t
−
1
,
Acc
t
]
[\text{Acc}_{t-k}, \ldots,\text{Acc}_{t-1},\text{Acc}_t]
[Acct−k,…,Acct−1,Acct]的方差小于
α
\alpha
α。
4. 实验结果
4.1 实验准备
数据集
评估表现的计量方式
- 谓词层面,估计的准确度和标准的准确度的平均差值:
Δ p r e d i c a t e = 1 ∣ R ∣ ( ∑ ∀ r ∈ R ∣ Φ ( H r ) − 1 ∣ H r ∣ ∑ ∀ h ∈ H r l ( h ) ∣ ) \Delta_{predicate}=\frac{1}{|R|}\left(\sum_{\forall r\in R}\left|\Phi(\mathcal{H}_r)-\frac{1}{|\mathcal{H}_r|}\sum_{\forall h\in \mathcal{H}_r}l(h)\right|\right) Δpredicate=∣R∣1(∀r∈R∑ Φ(Hr)−∣Hr∣1∀h∈Hr∑l(h) ) - 整体层面,估计的准确度和标准的准确度的平均差值:
Δ o v e r a l l = ∣ Φ ( H ) − 1 ∣ H ∣ ∑ ∀ h ∈ H l ( h ) ∣ \Delta_{overall}=\left|\Phi(\mathcal{H})-\frac{1}{|\mathcal{H}|}\sum_{\forall h\in\mathcal{H}}l(h)\right| Δoverall= Φ(H)−∣H∣1∀h∈H∑l(h)
4.2 KGEval估计KG准确度的效果
这里我们比较KGEval和随机方法整体层面计算的误差落到每个谓词上的误差,由于KGEval考虑了信念之间的耦合关联,所以对一个信念的评估能够对其他信念的评估起到帮助。
4.3 模型中组合限制的重要性
4.4 信念评估覆盖率
X轴为参与众包评估的信念数目。