TransC:Differentiating Concepts and Instances for Knowledge Graph Embedding

引言

传统方法：

• 基于翻译的方法：如TransE、TransD、TransH、TransR等
• 使用外部信息，如：
  • 实体类型
  • 文本描述
  • 逻辑规则

这些传统方法的缺点是：忽视了概念与实例之间的区别，这导致了以下问题：

• 概念表示不足：大多数方法将概念和实例都编码为向量，这无法明确表示概念和实例之间的差异
• 对于isA关系的敏感性不足：instanceOf和subClassOf（通常称为isA）是知识图谱中的两种特殊关系。

动机

层次概念：人们心中的概念是按层次组织的。因此，实例应该靠近它们所属的概念。
在TransC中，概念被编码为一个球体，实例作为向量在同一语义空间中，采用相对位置来模拟概念和实例之间的关系。

符号与概念

• 关系集合 R = { r e , r c } ∪ R l \mathcal{R}=\{r_e,r_c\}\cup\mathcal{R}_l R={re​,rc​}∪Rl​，其中$R_l$是实例之间的关系，$r_e$是instanceOf关系，$r_c$是subClassOf关系。

• InstanceOf三元组集合$${\mathcal{S}}_e=\{(i,r_e,c{)}_k{\}}_{k=1}^{n_e},$$
  其中$i\in \mathcal{I},c\in C,n_e$是$S_e$的大小

• SubClassOf三元组集合 $${\mathcal{S}}_c=\{(c_i,r_c,c_j{)}_k{\}}_{k=1}^{n_c},$$

• 关系三元组： S l = { h , r , t } k = 1 n l \mathcal{S_{l}}=\{h,r,t\}_{k=1}^{n_{l}} Sl​={h,r,t}k=1nl​​
  其中$h,t\in \mathcal{I}$, $r\in {\mathcal{R}}_l$。

• 概念：对于$c\in \mathcal{C}$，我们学习一个球体$s(\mathbf{p},m)$，其中$\mathbf{p}$是球心，$m$表示半径。

• 传递性：

  • InstanceOf-subClassOf的传递性关系可以表示为下列等式$$(i,r_e,c_1)\in S_e\wedge (c_1,r_c,c_2)\in S_c\to (i,r_e,r_2)\in S_e$$
  • SubClassOf-subClassOf的传递性可以表示为：$$(c_1,r_c,c_2)\in S_c\wedge (c_2,r_c,c_3)\in S_c\to (c_1,r_c,c_3)\in S_c$$

方法

作者提出了新的损失函数来衡量嵌入空间中的相对位置，并基于翻译模型共同表示概念、实例和关系。

• InstanceOf三元组表示：对于InstanceOf三元组$(i,r_e,s)$，如果为真，则$\mathbf{i}$应该在球体$s$内部，以表示它们之间的instanceOf关系。因此，损失函数定义为$$f_e(i,c)=\Vert \mathbf{i}-\mathbf{p}{\Vert }_2-m$$
• SubClassOf三元组表示：对于三元组$(c_i,r_c,c_j)$，概念$c_i,c_j$被编码

为球体$s_i(p_i,m_i)$。如果$c_i$是$c_j$的子类，则它们的中心应该接近。但是，球体$s_i$和$s_j$之间存在许多相对位置。因此，损失函数定义为$$\begin{array}{rlr}& d=\Vert p_i-p_j{\Vert }_2& (a)\\ & f_c(c_i,c_j)=||{\mathbf{p}}_i-{\mathbf{p}}_j|{|}_2+m_i-m_j& (b)\\ & f_c(c_i,c_j)=||{\mathbf{p}}_i-{\mathbf{p}}_j|{|}_2+m_i-m_j& (c)\\ & f_c(c_i,c_j)=m_i-m_j& (d)\end{array}$$

• 关系三元组表示：对于$(h,r,t)$，损失函数如TransE，定义为$$f_r(h,t)=\Vert h+r-t{\Vert }_2^2$$

训练方法

instanceOf三元组

作者使用

• $\xi$和${\xi }^{\prime }$表示正例和负例三元组。
• ${\mathcal{S}}_e$和${\mathcal{S}}_e^{\prime }$表示正例和负例三元组集合
• $[x{]}_{+}$表示$max(0,x)$
• ${\gamma }_e$是正例和负例三元组之间的间隔
  $${\mathcal{L}}_e=\sum _{\xi \in {\mathcal{S}}_e}\sum _{{\xi }^{\prime }\in {\mathcal{S}}_e^{\prime }}[{\gamma }_e+f_e(\xi )-f_e({\xi }^{\prime }){]}_{+},$$

subClassOf三元组

$${\mathcal{L}}_c=\sum _{\xi \in {\mathcal{S}}_c}\sum _{{\xi }^{\prime }\in {\mathcal{S}}_c^{\prime }}[{\gamma }_c+f_c(\xi )-f_c({\xi }^{\prime }){]}_{+},$$

关系三元组

$${\mathcal{L}}_l=\sum _{\xi \in {\mathcal{S}}_l}\sum _{{\xi }^{\prime }\in {\mathcal{S}}_l^{\prime }}[{\gamma }_l+f_r(\xi )-f_r({\xi }^{\prime }){]}_{+}.$$

总损失

$$\mathcal{L}={\mathcal{L}}_e+{\mathcal{L}}_c+{\mathcal{L}}_l$$

训练集

对于一个真实的关系三元组$(h,r,t)$，通过替换$h$或$t$为$h^{\prime }$或$t^{\prime }$来生成负例，其中$h^{\prime }$是从集合${\mathcal{M}}_t={\mathcal{M}}_1\cup {\mathcal{M}}_2\dots {\mathcal{M}}_n$中随机挑选的，其中 M i = { a ∣ a ∈ I ∧ ( a , r e , c i ) ∈ S e ∧ ( t , r e , c i ) ∈ S e ∧ t ≠ a } M_{i}=\{a|a\in I \wedge (a,r_{e},c_{i})\in \mathcal{S_{e}} \wedge (t,r_{e},c_{i}) \in \mathcal{S_{e}} \wedge t \neq a \} Mi​={a∣a∈I∧(a,re​,ci​)∈Se​∧(t,re​,ci​)∈Se​∧t=a}，也就是从把头实体或者是尾实体换成相同概念的实体或者是不同概念的实体。

生成策略包括：

• 均匀采样
• 伯努利采样：基于链接头尾实体数目栏进行采样，数目多的实体被采样的概率更大。

实验

对链接预测和三元组分类进行实验

源代码