HittER-用于知识图谱嵌入的层次化Transformer

Sanxing Chen；Xiaodong Liu, Jianfeng Gao；Jian Jiao, Ruofei Zhang；Yangfeng Ji；2020

HittER——该模型旨在解决复杂多关系知识图谱中实体和关系表示学习的挑战性问题。作者提出了一种双层Transformer结构，用于联合学习源实体邻域中的实体-关系组合与基于上下文的关系表达。

1. 模型组成：

   HittER模型包含两个层级的Transformer模块。
   • 底层Transformer模块：针对源实体周围的局部邻域，提取每个实体-关系对的特征。
   • 上层Transformer模块（也称为上下文Transformer）：接收底层Transformer模块输出的关系信息，并聚合这些信息，生成源实体的上下文感知表示。

2. 层级运作机制：

   • 底层Transformer用于提取每一对实体和关系的具体特征。
   • 上层Transformer基于底层提取出的关系特征，将源实体邻域内的关系信息融合起来，形成一个整体的理解。

3. 掩码实体预测任务：

   • 为了平衡关系上下文信息和源实体本身的信息，设计了一个两步的掩码实体预测任务（MEP），在训练期间引入了对源实体的随机遮蔽，使其能够同时考虑上下文和实体本身的贡献。

Code：https://github.com/microsoft/HittER