【论文笔记】Interaction embeddings for prediction and explanation in knowledge graphs

摘要

交叉交互——实体和关系之间的双向效应——有助于在预测新的三元组时选择相关信息，但之前还没有正式讨论过。
本文提出了CrossE，它明确地模拟交叉交互。它不仅像大多数以前的方法一样，为每个实体和关系学习一个一般的嵌入，而且还为实体和关系生成多个特定的三重嵌入，称为交叉嵌入。
此外，我们从一个新的角度评估嵌入——解释预测的三元组。在这项工作中，三元组的解释被认为是头部和尾部实体之间可靠的闭合路径。

背景

关系到实体的交互：一个实体构成很多三元组，但只有部分三元组对于某种关系的预测起到作用。比如对于X是谁的父亲的预测，只有X的妻子是Z、Y是X的父亲、M是Z的孩子这几个三元组起作用了，而X是什么职业之类的三元组对于这个预测并没起作用。
实体X的信息会影响要选择用于推理的推理路径，只有X的妻子是Z和M是Z的孩子这条路径最终用于推理。我们称之为从实体到关系的交互。
像TransE这样的大多数以前的方法都学习了一种通用的嵌入方法，这种方法被假定为保留每个实体和关系的所有信息。它们忽略了实体和关系的交互。TransH和TransG等方法可以学习多实体或关系嵌入，但不能同时学习两者。他们忽略了从实体到关系的交互和从关系到实体的交互是双向的，同时影响着实体和关系。

相关研究

1. 使用通用方法的知识图谱嵌入
   现有的通用嵌入方法都将实体表示为低维向量，将关系表示为结合头实体和尾实体的表示的操作。大多数方法在向量空间中提出了不同的假设，并从不同的角度对知识图进行建模。
   TransE将关系视为从头部实体到尾部实体的转换，并假设头部实体的特定于关系的转换应接近尾部实体向量。每个关系都代表一个向量。RESCAL将知识图视为一个多热张量，通过集合张量分解学习实体向量表示和关系矩阵表示。HOLE是一种合成向量空间模型，它利用嵌入向量的不同维度之间的相互作用，并利用循环相关性来创建合成表示。RDF2Vec使用图行走和Weisfeiler-Lehman子树RDF内核生成实体序列，并将实体序列视为自然语言中的单词序列，然后跟随word2vec生成实体的嵌入，而不是关系。NTN将每个关系表示为一个双线性张量算子，后跟一个线性矩阵算子。ProjE使用了一个简单但有效的共享变量神经网络。DistMult从双线性目标学习嵌入，其中每个关系表示为从头部实体到尾部实体的线性映射矩阵。它成功地捕获了关系的组合语义。ComplEx利用复数嵌入来处理对称和反对称关系，因为实值的厄米点积是可交换的，而复数的厄米点积是不可交换的。ANALOGE是从类比推理的角度提出的，基于线性映射假设。它在关系矩阵中加入正规性和交换约束，以提高类比推理的建模能力，并在链路预测任务中取得了最新成果。所有这些方法都学习了每个实体和关系的一般嵌入。在不同场景中推断新的三元组时，它们忽略了实体和关系之间的交叉交互。

2. 使用多嵌入的知识图谱嵌入
   结构化嵌入（SE）假设一个三元组中的头实体和尾实体在依赖于关系的某个子空间中应该彼此接近。它用两个不同的矩阵表示每个关系，以传递头部实体和尾部实体。ORC专注于“一个关系圈”，并建议为每个实体学习两种不同的表示法，一种是头部实体，另一种是尾部实体。TransH注意到，TransE在处理1-N、N-1和N-N关系时遇到困难。它为每个关系学习一个特定的超平面，并将该关系表示为接近其超平面的向量。当涉及具有此关系的三元组时，实体会投影到关系超平面上。TransR认为，各种关系关注实体的不同方面。它通过将实体从实体空间投影到关系空间来表示不同的方面，并为每个实体获得各种特定于关系的嵌入。CTransR是TransR的一个扩展，它通过将不同的头尾实体对聚类到组中，并学习每个组的不同关系向量，来考虑每种关系类型下的相关性。TransD是一个更细粒度的模型，它同时考虑实体和关系的多样性，为每个实体-关系对构造一个动态映射矩阵。TranSparse被提出用于处理关系和关系的知识图的异质性和不平衡性 。

3. 使用额外信息的知识图谱嵌入
   RTransE、PTransE和CVSM利用路径规则作为额外的约束来改进嵌入。考虑了三种物理规则和一种逻辑规则，并将知识图中的推理表述为一个整数线性规划问题。TKRL提出实体的层次类型信息对于知识图中的表示学习具有重要意义。在知识图谱的隐变量模型中将实体类型视为硬约束，TKRL将层次类型视为实体的投影矩阵。

CrossE

模型通过学习interaction matrix来生成多个特定的交互嵌入，从而模拟实体和关系之间的交叉交互。每个实体和关系都由多个嵌入来表示：（a）一个一般嵌入，它保留高级属性；（b）多个交互嵌入，它保留交叉交互的特定属性。交互嵌入是通过一般嵌入和交互矩阵C之间的Hadamard积得到的。
基本思想：
一般嵌入（E表示实体，R表示关系）和交互矩阵C在阴影框中表示。交互嵌入E_c和R_c是实体和关系之间交叉交互的结果，它们完全由一般嵌入的交互操作指定。因此，E、R和C是需要学习的参数，而E_c和R_c则不是。
h是头实体，t是尾实体，r是关系。它们的one-hot索引向量为x_h,x_t,x_r。
它们的嵌入为：
实体的交互嵌入为：
◦ 表示Hadamard积。h_I为h的交互嵌入。c_r是一个特定于关系的变量，从interaction matrix C里学到。c_r依赖于关系r，所以h的相互作用嵌入数与关系数相同。
关系的交互嵌入为：
对于每个头实体，都有一个关系r的交互嵌入
复合算子为：
为非线性方式。
b是全局偏差向量，tanh（x）的输出是-1到+1它用于确保组合表示与实体表示共享相同的分布区间（负值和正值）
相似算子：

用来计算组合表示q_hr和一般尾部实体表示t之间的相似性

σ（z）=1/(1+e^-z)

评分函数为：

为了评估交叉交互的有效性，我们通过移除交互嵌入并仅使用评分函数中的一般嵌入，设计了一个称为交叉的简化交叉：

损失函数：

CrossE的优势：
1）对于实体和关系，在特定的三重推理过程中使用的表示是交互嵌入（而不是一般嵌入），它模拟了不同三重预测对不同信息的选择。
2） 它们能够根据相互作用的背景捕捉不同的潜在属性。这是因为当涉及不同的三元组时，每个交互嵌入可以选择不同的相似实体和关系。
3） 产生更少的额外参数。

预测的解释

这一节我本来是没有看懂的，引用了一下知乎的这篇论文的论文笔记

在本节中，作者描述如何为预测的三元组生成解释。当KGE在实际应用中实现时，解释是有价值的，因为它有助于提高预测结果的可靠性和人们对预测结果的信任度。在实现高预测精度和给出解释之间的平衡已经在其他领域引起了研究的关注，例如推荐系统
本文以知识图谱中的相似结构的数量来评价三元组(h，r，t )的解释可靠性。
一般来说，对于一个解释来说，结构越是相似的结构支持越多，就越可靠。
在基于嵌入的解释搜索过程中，作者首先根据嵌入的相似性选择候选实体和关系，以减少搜索空间，然后再生成一个三元组（h，r，t）的解释。候选实体和关系的选择与嵌入的质量有关，将直接影响最终的解释。
作者假设向量嵌入的相似度与欧几里得距离相关，矩阵嵌入的相似度与Frobenuis norm相关。然后根据选定的候选者，作者对解释进行详尽的搜索，包括(1)寻找从h到t的闭合路径作为解释，(2)寻找相似结构的解释作为支持。

##实验

可解释性