【论文解读】（2020-EMNLP）Adaptive Attentional Network for Few-Shot Knowledge Graph Completion

【论文解读】（2020-EMNLP）Adaptive Attentional Network for Few-Shot Knowledge Graph Completion

摘要

最近相关研究的重点为通过学习实体的静态表示方法，而忽略他们的动态属性。

本文通过自适应注意力网络：

1. 实体由自适应邻居编码器建模，来识别他们面向任务的角色
2. 引用由自适应查询感知聚合器建模，来区分他们的贡献

介绍

解决小样本知识图谱补全问题发展：

（2018）GMatching提出尾实体预测的解决方法，为了改进引用的语义表示，利用局部邻居增强实体嵌入（平均贡献）

（2020）FSRL 也是为了改进引用的语义表示，利用局部邻居增强实体嵌入（注意力机制分配不同权重）

但是权重并不会在所有任务关系中发生变化，所以这两个都是为邻居分配静态权重，在涉及不同的任务关系时产生静态实体表示，但我们更应该使用动态权重这样更符合实际效果。

对于实体可以是多义的，关系也可以是多义的。因此，引用三元组还可以对特定查询作出不同的贡献。就是说对于支持集中的不同三元组要有侧重的选择。

所以针对这种情况我们采用FAAN（自适应网络小样本知识图谱补全）：

1. 给定一个任务关系对于的支持集和查询集
2. 给定一个自适应注意邻居编码器（单跳）对实体进行编码
3. 为了增强实体表示，采用Transformer块的的堆栈作为参考/查询三元组，来捕获关系的多义
4. FAAN通过自适应地聚合引用，得到一个通用的引用表示，进一步区分它们对不同查询的贡献
5. 

贡献

1. 我们提出了在少镜头场景中动态属性的概念，通过研究少镜头场景中实体和引用的动态属性，区别于以往的范式
2. 设计了一种新的自适应注意网络FAAN来学习动态表征。适应性邻居编码器用于使实体表示适应不同的任务。Transformer编码器和基于注意力的聚合器用于使引用表示适应不同的查询。
3. 在NELL和Wikidata的基准KGs上对FAAN在少杆链路预测中的应用进行了评价。实验结果表明，在不同的弹丸大小下，FAAN都能获得新的前沿结果。

相关工作

1. 知识图谱补全的工作
2. 小样本在计算机视觉上的应用 –> 小样本在知识图谱补全上的应用
3. 动态特征在知识图谱上的应用、动态特征在图像上的应 –> 动态特征在小样本知识图谱上的应用

背景

和FSRL一样，定义训练集和测试集，然后定义每一个任务的支持集和查询集，每一个部分都可以访问背景知识图谱

方法

给定元训练集，输入查询集学习预测的度量函数

1. 自适应邻居编码器学习自适应实体表示（实体表示）
2. Transformer编码器学习实体对的关系表示;（关系表示）
3. 自适应匹配处理器，将查询与给定的引用进行比较（匹配处理器）

Adaptive Neighbor Encoder for Entities

用背景知识图谱的三元组进行实体表示，该模型的目的是在不同的任务中用不同的实体嵌入来表示实体，表现出不同的角色。

通过双线性点积来计算任务关系与实体一跳邻居关系的相关性得分

流程：

1. 首先通过预嵌入得到实体嵌入。通过r=t-h 得到关系嵌入
2. 利用双线性点积计算任务关系与实体一跳邻居关系的相关性得分
3. 通过注意力机制得到不同实体一跳邻居关系的得分，然后聚合尾实体，得到角色感知邻居嵌入（ role-aware neighbor embedding ）
4. 最后将头实体嵌入和角色感知邻居嵌入 相加在通过神经网络，得到头实体嵌入（尾实体嵌入）

Transformer Encoder for Entity Pairs

借鉴动态知识图谱嵌入：CoKE: Contextualized Knowledge Graph Embedding

借鉴Transformer： Attention is all you need

流程：

1. 利用上一个模型得到的头尾实体嵌入，组成实体对嵌入（头嵌入 关系嵌入 尾嵌入） 关系为任务关系
2. 头嵌入+头位置嵌入、关系嵌入+关系位置嵌入、尾嵌入+尾位置嵌入
3. 送入Transformer的德奥实体对嵌入（头嵌入 关系嵌入 尾嵌入）

Adaptive Matching Processor

将查询集和支持集输入度量函数 显示得分，查询集中的一个要和支持集中的所有实例对比然后平均总体得分

实验

总结