Few-Shot Knowledge Graph Completion阅读笔记

Few-Shot Knowledge Graph Completion

原文下载
AAAI 2020

摘要

知识图谱作为多种自然语言处理应用的有用资源。原来知识图谱的补全方法要求每种关系拥有大量的训练实例(例如头部-尾部实体)。但是在真实的场景中，对于大多数实体仅有少数的实体对可以得到。并且现有小样本学习方法对于小样本的场景缺乏一般性也没有充分利用监督信息；然而小样本知识图谱补全还没有被很好的研究。在本文工作中作者提出了一个新颖的小样本关系学习模型(FSRL)目的是为了基于给定的参考集发现新关系的实体。FSRL能够有效的从异构图结构中捕获知识，聚合小样本参考集的表示并且匹配每种关系参考集的实体对的相似性。另外作者在两种公开数据集上证实了FSRL方法的优越性。

主要贡献点

• 提出一种新的小样本补全任务，不同于之前的方法，同时更适合实际场景
• 提出了一种融合了一些可学习神经网络模块的小样本关系学习模型解决此问题
• 在两个公开数据集上做了拓展实验，结果表明本文提出的模型较优

问题定义

知识图谱G被表示为一个三元组的集合：
{ ( h , r , t ) } ⊆ ε × R × ε \{(h,r,t) \} \subseteq \varepsilon \times R \times \varepsilon {(h,r,t)}⊆ε×R×ε

其中， $\epsilon$表示实体集，$R$表示关系集合。

知识图谱补全：
在给定头部实体$h$及查询关系$r$，预测尾部实体$t$：{($h$, $r$, ?)} ；或者根据头部和尾部实体预测关系$r$。
本文研究内容为前一种情况。

模型

模块介绍

• $EncodingHeterogeneousNeighbors$
  
  此模块功能为一个关系可感知的异构邻居编码器。基于给定头实体$h$的关系邻居的集合被表示为：
  N h = { ( r i , t i ) ∣ ( h , r i , t i ) ∈ G ′ } N_h= \{(r_i,t_i)|(h,r_i,t_i)\in G'\} Nh​={(ri​,ti​)∣(h,ri​,ti​)∈G′}
  其中，$G^{\prime }$表示背景知识图谱, $r_i,t_i$分别表示第$i$个关系和相应的$h$的尾部实体。
  f θ ( h ) = σ ( ∑ i α i e t i ) α i = e x p { u r t T ( W r t ( e r i ⊕ t i ) + b r t ) } ∑ j e x p { u r t T ( W r t ( e r j ⊕ t j ) + b r t ) } f_\theta(h)=\sigma(\sum_{i} \alpha_i e_{t_i}) \\[8pt] \alpha_i=\frac{exp\{u_{rt}^{T} (\mathcal{W}_{rt}(e_{r_i}\oplus_{t_i})+b_{rt})\}} {\sum_jexp\{u_{rt}^{T} (\mathcal{W}_{rt}(e_{r_j}\oplus_{t_j})+b_{rt})\}} fθ​(h)=σ(i∑​αi​eti​​)αi​=∑j​exp{urtT​(Wrt​(erj​​⊕tj​​)+brt​)}exp{urtT​(Wrt​(eri​​⊕ti​​)+brt​)}​
  其中，$\sigma$表示激活函数，$e_{t_i},e_{r_i}$分别表示$t_i,r_i$的预训练的embedding。$u_{rt}\in {\mathbb{R}}^{d\times 1},{\mathcal{W}}_{rt}\in {\mathbb{R}}^{d\times 2d},b_{rt}\in {\mathbb{R}}^{d\times 1}$均为可学习参数，$d$为预训练的embedding的维度。

• $AggregatingFew-ShotReferenceSet$
  
  此模块功能为: 对参考集中$R_r$每个关系$r$的embedding进行聚合。
  f ϵ ( R r ) = A G ( h k , t k ) ∈ R r { ε h k , t k } ε h k , t k = [ f θ ( h k ) ⊕ f θ ( t k ) ] f_\epsilon(R_r)=\mathcal{AG}_{(h_k,t_k)\in R_r}\{ \varepsilon_{h_k,t_k}\} \\[8pt] \varepsilon_{h_k,t_k}=[f_\theta(h_k)\oplus f_{\theta}(t_k)] fϵ​(Rr​)=AG(hk​,tk​)∈Rr​​{εhk​,tk​​}εhk​,tk​​=[fθ​(hk​)⊕fθ​(tk​)]
  其中，$\mathcal{A}\mathcal{G}$是一个聚合函数。$\oplus$表示连接操作。
  基于图的embedding，作者设计了一个循环自编码聚合器。更具体来说，实体对embeddings ${\epsilon }_{h_k,t_k}\in R_r$被顺序喂到循环自编码器：
  $${\epsilon }_{h_1,t_1}\to m_1\to ...\to m_K\to d_K\to ...\to d_1$$
  其中，$K$是参考集的大小(小样本的大小)。编码与解码阶段的隐藏状态$m_k$与$d_k$计算公式如下：
  $$\begin{gathered} m_k=RN{N}_{encoder}({\epsilon }_{h_k,t_k},m_{k-1}) \\ {d}_{k-1}=RN{N}_{decoder}(d_k) \end{gathered}$$
  其中，$RN{N}_{encoder}与RN{N}_{decoder}$分别表示循环编码器与解码器。
  优化自编码器的重构损失如下：
  $${\mathcal{L}}_{re}(R_r)=\sum _k||d_k-{\epsilon }_{h_k,t_k}|{|}_2^2$$
  为了形成参考集的embedding,作者聚合了所有编码的隐层状态并通过残差连接与注意力权重机制进行拓展。因此，$f_{ϵ}(R_r)$的计算公式如下：
  m k ′ = m k + ε h k , t k β k = e x p { u R T ( W R m k ′ + b R ) } ∑ k ′ e x p { u R T ( W R m k ′ ′ + b R ) } f ϵ ( R r ) = ∑ k β k m k ′ m_{k}^{'}=m_k+\varepsilon_{h_k,t_k} \\[8pt] \beta_k=\frac{exp\{u_{R}^{T} (\mathcal{W}_{R}m_{k}^{'}+b_{R})\}} { \sum_{k'}exp\{u_{R}^{T} (\mathcal{W}_{R}m_{k'}^{'}+b_{R})\}} \\[8pt] f_{\epsilon}(R_r)=\sum_k \beta_k m_{k}^{'} mk′​=mk​+εhk​,tk​​βk​=∑k′​exp{uRT​(WR​mk′′​+bR​)}exp{uRT​(WR​mk′​+bR​)}​fϵ​(Rr​)=k∑​βk​mk′​
  $u_R\in {\mathbb{R}}^{d\times 1},{\mathcal{W}}_R\in {\mathbb{R}}^{d\times 2d},b_R\in {\mathbb{R}}^{d\times 1}$均为可学习参数，$d$为聚合的embedding的维度。

• $MatchingQueryandReferenceSet$
  
  在前两个模块的基础上，现在可以基于参考集$R_r$有效的对每个查询实体对$(h_l,t_l)$进行匹配操作。首先通过对查询实体对$(h_l,t_l)$和参考集$R_r$分别进行$f_{\theta }$与$f_{ϵ}$操作，从而分别得到两个embedding向量：${\epsilon }_{h_l,t_l}=[f_{\theta }(h_l)\oplus f_{\theta }(t_l)]$.
  为了衡量两个向量的相似性，作者采用了一个循环处理器$f_{\mu }$去完成多步匹配。第$t$个过程步的如下：
  $$\begin{gathered} g_t^{{}^{\prime }},c_t=RN{N}_{match}({\epsilon }_{h_l,t_l},[g_{t-1}\oplus f_{ϵ}(R_r)],c_{t-1}) \\ {g}_t=g_t^{{}^{\prime }}+{\epsilon }_{h_l,t_l} \end{gathered}$$
  其中，输入为${\epsilon }_{h_l,t_l}$,隐藏状态为$g_t$,细胞状态为$c_t$。$T$过程步后的隐层状态$g_T$记为：${\epsilon }_{h_l,t_l}=g_T$。

• $ObjectiveandModelTraining$
  对于每一个关系r,我们随机选择一些正样本实体对 { ( h k , t k ) ∣ ( h k , r , t k ) ∈ G } \{ (h_k,t_k)|(h_k,r,t_k)\in G\} {(hk​,tk​)∣(hk​,r,tk​)∈G}并把它们作为参考集$R_r$。剩余的实体对 P ε r = { ( h l , t l ) ∣ ( h l , r , t l ) ∈ G ∩ ( h l , t l ) ∉ R r } \mathcal{P}\varepsilon_r=\{(h_l,t_l)|(h_l,r,t_l)\in G \cap (h_l,t_l) \not \in R_r\} Pεr​={(hl​,tl​)∣(hl​,r,tl​)∈G∩(hl​,tl​)​∈Rr​}作为正样本查询对。此外，也构建了负样本实体对 N ε r = { ( h l , t l − ) ∣ ( h l , r , t l − ) ∉ G } \mathcal{N}\varepsilon_r=\{(h_l,t_{l}^{-})|(h_l,r,t_{l}^{-})\not \in G\} Nεr​={(hl​,tl−​)∣(hl​,r,tl−​)​∈G}。排列损失记为：
  $${\mathcal{L}}_{rank}=\sum _r\sum _{(h_l,t_l)\in \mathcal{P}{\epsilon }_r}\sum _{(h_l,t_l^{-})\in \mathcal{N}{\epsilon }_r}[\xi +s_{(h_l,t_l^{-})}-s(h_l,t_l){]}_{+}(9)$$
  其中，$[x{]}_{+}=max[0,x]$为标准的hinge 损失，$\xi$表示安全边界距离(本文取值为5)。
  最终优化函数如下：
  $${\mathcal{L}}_{joint}={\mathcal{L}}_{rank}+\gamma {\mathcal{L}}_{re}(10)$$
  其中，${\mathcal{L}}_{re}$表示参考集聚合的重构损失。$\gamma$表示两者的权衡因子(本文取值为0.0001)。

FSRL算法过程如下：

数据集

训练集/验证集/测试集划分：
NELL:51/5/11
WiKi:133/16/34

实验结果

Ablation Study

其中AS_1表示使用mean pooling layer代替heterogeneous neighbor encoder；AS_2a使用mean pooling来代替 recurrent autoencoder aggregation ；AS_2b使用mean pooling代替attention weight；AS_2c移除decoder，只是使用encoder；AS_3移除了匹配网络中的LSTM。

Impact of Few-Shot Size

Embedding Visualization

** 如有错误欢迎各位批评指正！大家共同进步~ **