Knowledge Hypergraphs: Prediction Beyond Binary Relations[IJCAI-2020]

1. 论文作者的目标是什么，或者也许已经实现了什么。

We address the question of link prediction in knowledge hypergraphs where relations are defined on any number of entities.
我们解决知识超图中的链接预测问题，其中关系定义在任意数量的实体上。
The contributions of this paper are: (1) showing that current techniques to convert a knowledge hypergraph to knowledge graph do not yield satisfactory results for the link prediction task, (2) introducing HypE and HSimplE, two models for knowledge hypergraph completion, (3) a set of baselines for knowledge hypergraph completion, and (4) two new datasets containing multi-arity relations obtained from subsets of FREEBASE, which can serve as new evaluation benchmarks for knowledge hypergraph completion methods. We also show that our proposed methods outperform baselines.
本文的贡献在于：( 1 )展示了现有的将知识超图转换为知识图的技术在链接预测任务中没有取得令人满意的结果；( 2 )引入了HypE和HSimplE两个知识超图补全模型；( 3 )提出了一套知识超图补全的基线集；( 4 )从FREEBASE的子集中获得了两个包含多边关系的新数据集，可以作为知识超图补全方法的新评估基准。我们还表明我们提出的方法优于基线。

1. 前人研究：Nguyen, 2017; Kazemi et al., 2020证明基于嵌入（embedding）的方法对知识图谱是有效的。
2. 前人研究漏洞：基于嵌入的知识图谱表示方式都默认关系是二元关系，但现实生活中许多关系不是二元关系。虽然存在将非二元关系转化成二元关系的方法（比如：物化），但目前基于嵌入的知识图谱补全方法对于这些方法得到的知识图谱并不有效。
3. 本文提出：将知识图谱转化为知识超图（knowledge hypergraphs），讨论在知识超图中的链接预测问题，其中关系定义在任意数量的实体上。
4. 嵌入embedding：（An embedding is a function that converts an entity or a relation into a vector (or sometimes a higher order tensor) over a field (typically the real numbers).嵌入是将一个实体或关系转换为域(典型的是实数)上的向量(或者有时是高阶张量)的函数。）
5. 超图hypergraphs：每条边可以包含两个以上的点的图。
6. 知识超图knowledge hypergraphs：按照任意数量实体之间的关系存储的知识图谱。

2. 文中引入了一种新方法/技术，那么这一新提出的方法/技术的关键要素是什么

We introduce HSimplE and HypE, two embedding-based methods that work directly with knowledge hypergraphs.
我们介绍了HSimplE和HypE这两种基于嵌入的方法，它们直接作用于知识超图。
In both models, the prediction is a function of the relation embedding, the entity embeddings and their corresponding positions in the relation.
在两个模型中，预测都是关系嵌入、实体嵌入及其在关系中对应位置的函数。、

The first model we propose is HSimplE. For a given entity, HSimplE shifts the entity embedding by a value that depends on the position of the entity in the given relation.
我们提出的第一个模型是HSimplE。对于给定的实体，HSimplE通过一个依赖于实体在给定关系中的位置的值来移动实体嵌入。
Our second model is HypE, which in addition to learning entity embeddings, learns positional (convolutional) embeddings; these positional embeddings are disentangled from entity representations and are used to transform the representation of an entity based on its position in a relation
我们的第二个模型是HypE，它除了学习实体嵌入外，还学习位置(卷积)嵌入；这些位置嵌入从实体表示中分离出来，并用于根据实体在关系中的位置转换实体的表示

1. 引入了两种基于嵌入的方法HSimplE 和 HypE。
2. 这种方法可以直接在超图上执行链接预测，而不是将超图转化为图。
3. 这两个模型都基于以下想法：预测一组实体之间关系是否存在取决于实体在关系中的位置，或者，关系是对称的。
4. 每个位置独立的实体嵌入效果并不好，因为同一个实体的不同位置的嵌入不能信息流动。
5. 提出知识超图补全新模型，is fully expressive。（A model is fully expressive
   if given any complete world (full assignment of truth values to all tuples), there exists an assignment of values to the embeddings of the entities and relations that accurately separates the tuples that are true in the world from those that are false.）一个模型是完全表达的，如果给定对所有元组完全分配真值，存在对实体和关系的嵌入值的赋值，从而准确地将世界中的真元组与假元组分离。
6. 我们方法的核心思想：实体表示预测的方式受到实体在给定关系中的位置或角色的影响。
7. HSimplE是受到SimplE启发的基于嵌入的知识超图的链接预测方法。SimplE对于每个实体e学习两个嵌入向量e⁽¹⁾和e⁽²⁾，对于关系r学习两个嵌入向量r⁽¹⁾和r⁽²⁾，它们一个关系嵌入是另一个关系嵌入的逆。然后计算三元组的得分。
8. HSimplE根据实体在关系中的位置对其使用不同的表示，并从单个训练tuple更新这些表示。对于每个实体e学习一个向量e，对于每个关系r学习单个向量r。（区别于SimplE学习两个）。每个向量e都是一个实体e基于每个可能位置的不同表示的串联，然后计算得分函数对tuple打分。
9. HypE学习每个实体的单一表示，每个关系的单一表示，以及每个可能位置的位置卷积权重滤波器。当一个实体出现在某个位置时，首先使用合适的位置滤波器变换每个实体在给定事实中的嵌入。然后将转换后的实体嵌入与关系嵌入结合，产生一个得分，也就是输入tuple为真的概率。
10. 使用位置滤波器的好处：a .每个实体学习一个向量会使实体表示变得简单。b.可以使实体从给定事实的位置中解绑。这种实体、关系、位置、的解绑更便于表示有任意数量实体关系的知识图谱。
11. HSimplE和HypE均采用小批量随机梯度下降训练。

新的数据集、benchmarks与baselines

We also develop public datasets, benchmarks and baselines for hypergraph prediction and show experimentally that the proposed models are more effective than the baselines.
我们还开发了用于超图预测的公共数据集、基准和基线，并通过实验表明所提出的模型比基线更有效。

1. 在三个数据集上训练：现有的JF17K，从FREEBASE中创建的两个数据集FB - AUTO和M - FB15K。
2. benchmarks：WN18 and FB15k
3. baseline：a.使用二元关系且易于扩展到高奇偶性的方法 r-SimplE, m-DistMult, 和m-CP b.现有的能够处理高阶关系的方法m-TransH.
4. 在 r-SimplE上测试物化数据，通过物化将高阶关系转化成二元关系再测试。
5. 在DistMult的得分函数基础上重新定义得分函数
6. 将处理二元关系的CP张量分解方法扩展成处理多元关系的m-CP。

参考链接
https://zhuanlan.zhihu.com/p/164502624
https://blog.csdn.net/AIyaya123564/article/details/109443594
https://blog.csdn.net/qq_35799003/article/details/84780289