【论文笔记】Expanding holographic embeddings for knowledge completion

摘要

提出了一个新的知识图嵌入族，它在高模型复杂度的方法和全息嵌入（HOLE）之间进行插值，具有低维性和高训练效率。

背景

我们的主要贡献是一个新的组合运算符，它结合了HOLE和全张量积的优点，称为扩展全息嵌入或HOLEX。它在全息嵌入和全张量积之间进行插值。这个想法是连接l≥ 1个HOLE模型的副本，每个副本都受到一个线性向量的干扰，允许不同副本集中在嵌入的不同子空间上。
当l=1且扰动向量中的所有条目均非零时，HOLEX退化为HOLE，当l=d、嵌入维数和所有扰动向量线性无关时，HOLEX与全张量积模型等价。
组合嵌入是知识图中预测的有用模型。一般来说，组合嵌入模型将实体和关系共同嵌入到高维空间中。组合嵌入的评分函数σ（.）近似于数据集Ω条件下φ_r（s，o）的后验概率:
人们提出了许多具有不同函数形式的σ模型。这些模型的一个关键部分是用于捕捉实体和关系之间相关性的组合运算符（复合算子）。组合运算符是将a,b映射到零一个高维空间的函数f。此类运算符用于组合实体和关系嵌入的信息，以预测得分函数中特定实体-关系元组的可能性。
一个好的组合运算符不仅能有效地从a，b中提取信息，而且能与模型的复杂度进行权衡。一种方法是使用向量算术运算，例如TransE、TransH和ProjE使用的（加权）向量加减。这种方法的一个缺点是，嵌入维度在这种向量操作中保持独立，因此模型不能捕获不同维度之间的丰富相关性。另一个流行的组合运算符是连接（concatenate）关系和实体的嵌入，然后应用非线性激活函数隐式捕获相关性。
HOLE的评分函数为

全息嵌入中使用的循环相关可以看作是整个张量积的投影，通过沿每条对角线加权所有相同的相互作用。考虑到其与（循环）卷积的相似性，使用快速傅里叶变换（FFT）可以有效地进行实际计算。

HOLEX

给定一个固定向量c，定义扰动全息复合算子为：

因此，h的第k维为：

HOLEX首先在形成a和b的全张量积，然后将每行乘以c相应的维度，最后沿每条（圆形）对角线求和。

计算上：

C为l维向量c₀…c_l-1，将每个h（a，b；c_i）作为列向量处理，整个扩展嵌入h（a，b；C_l）是一个d×l矩阵。
三元组（s,r,o）的评分函数可定义为：

这种扩展的嵌入与HOLE具有相同数量的参数。

【3.1 3.2没看懂】

实验

尽管使用全外积矩阵的RESCAL方法能够通过查看每一对维度来捕捉丰富的相关性，但由此产生的二次多参数使得在实践中很难进行训练，最终导致性能不佳。其次，像TransE和TransR这样的模型依赖于简单的向量算法，比如加/减向量，无法捕捉到丰富的相关性，再次导致性能低下。
第三，使用ProjE框架重新实现HOLE增加了HITS@10从73.9%到78.4%，这可能是由于TensorFlow后端的训练有所改进，以及dropout等正规化技术和实体关系交互，而不是原始HOLE的实体交互。此外，只需将嵌入尺寸从150增加到256，HOLE就可以达到83.0%HITS@10，高于大多数没有明确建模KG路径的基线方法，除了DistMult，该方法为完成这项任务进行了非常仔细的重新调整，以获得最先进的结果。相对于（重新实现的HOLE基线，我们提出的带有8个Haar向量的HOLEX提高了HITS@10公制单位减少了3.7%。使用随机0/1向量似乎更有效，达到88.6%HITS@10有16个这样的载体，这比构成我们代码库的ProjE提高了5.7%。这种设置也实现了0.800的平均倒数排名（MRR）。HITS@175.0%，符合或优于各种现有方法以及各种指标。
在标准FB15K数据集上的实证结果表明，即使只有少量扰动向量，HOLEX的强度仍然很高，并且能够选择一个点，有效地在计算中权衡关系嵌入的表达能力。