【总结报告】基于归纳知识图嵌入的元知识转移（Meta-Knowledge Transfer for Inductive Knowledge Graph Embedding

本文对论文 Meta-Knowledge Transfer for Inductive Knowledge Graph Embedding 做了简单的总结，主要总结了元知识的建模和获取这两部分。

论文信息

---

发表时间：2022/7/6

收录情况：SIGIR '22

文章类别：CCF A

---

论文研究内容

论文贡献：实现归纳知识图谱实体嵌入
现有工作：

1、现有的 KGE 方法不适用于归纳情景

2、现有的归纳情景下的一些知识图谱工作仅仅解决归纳联系预测任务，无法像传统KGE方法那样处理其他的知识图谱外任务，因为它们不生成实体的嵌入，如GraIL。

提出新的问题： 能否在一个实体集合上训练一个知识图谱嵌入模型，使其能够泛化到的包含未见实体的知识图谱内或知识图谱外任务中，这种泛化我们称之为“归纳情景”（inductive setting）。

研究内容：研究归纳情景下的KGE，提出模型MorsE，通过元学习（meta-learning）来获取和转移元知识（meta-knowledge），以适应在训练阶段未见过的实体，有效处理包括链接预测和基于知识图谱的问答在内的多种任务。

归纳情景（inductive setting）：要求模型在源知识图谱上训练后，还能在包含训练期间未见过的实体的目标知识图谱上进行测试。传统KGE基于的情景是直推式的（transductive setting），即模型在训练和测试时都局限在相同的实体集合上。


传统的KGE方法就像一个婴儿，只能识别他们看到的实体。相比之下，成年人可以通过比较其邻居的结构模式与已见实体来识别新的实体。这种结构模式帮助人们理解新实体的语义，是通用的、独立于实体的和可转移的。这种归纳情景类似于我们中学做的这种化学推断题：

元知识（meta-knowledge）：在文章中，将上面说的这种可转移的结构模式的知识统称为元知识，即“知识的知识”。

元学习（meta-learning）：待之后深入学习了解

论文提出模型——MorsE模型

整体思路

不直接学习实体嵌入（embedding），而是学习可转移的元知识（meta-knowledge），再用这些可转移的元知识生成实体嵌入。与传统 KGE 做法对比如下：

这种元知识下图中的𝑓函数隐式捕获：

元知识的建模

通过两个独立于实体的模块进行建模，这两个模块的参数独立于任何特定实体，并且可以在模型训练后适应具有不可见实体的知识图谱。

1. 实体初始化器（Entity Initializer）：使用连接到实体（entity）的关系（relation）信息初始化每个实体的嵌入，捕捉实体的类别信息，如“学生”。
   使用关系域嵌入矩阵$R^{dom}$，关系范围嵌入$R^{ran}$来进行初始化。其中，$R^{dom}$表示每个关系的头实体的类型特征，$R^{ran}$表示每个关系的尾实体的类型特征。
   实体$e$的初始化嵌入$H_e$由其进出关系的关系范围嵌入和关系域嵌入的平均值计算得到：
   
   下图是一个例子：
   
2. 图神经网络调制器（GNN Modulator）：基于实体的多跳邻域结构信息增强实体嵌入，捕捉实体更具体地实例信息，如“小明同学”。
   先前的一些研究表明，图神经网络具有捕获知识图的局部结构信息的能力。
   借鉴R-GCN，GNN调制器用下面公式计算实体𝑒在第𝑙层的更新：
   
   为了充分利用每一层的隐藏实体表示，让模型灵活地为每个实体利用最合适的邻域范围，文章采用了基于隐向量拼接的跳跃知识（jumping knowledge，JK）结构：
   

对于关系域嵌入矩阵$R^{dom}$，关系范围嵌入$R^{ran}$，$W^l$和$W^{JK}$，我觉得可能是需要训练的参数集（不知道对不对，等之后再来看）

这两个模块都偏向于图对称，意思就是说，具有相似连接关系和多跳邻域的实体通过这两个模块得到相似的嵌入。

元知识的获取——通过元学习获取

元学习设置：从源知识图谱中采样一组子KG，并将这些子KG中的实体视为未见的实体（可以通过重新给实体取名字实现），以模拟归纳设置中的目标KG。此外，为了为每个子KG制定学习任务，文章将一部分三元组拆分为查询三元组，并将其余三元组视为支持三元组。使用支持三元组生成实体嵌入，使用查询三元组评估生成嵌入的合理性并计算训练损失。

元学习机制：整体目标如下：

更具体的细节以后在看。