HittER: Hierarchical Transformers for Knowledge Graph Embeddings

HittER: Hierarchical Transformers for Knowledge Graph Embeddings

HittER由两部分组成：
1，底部：Entity Transformer 源实体的局部邻居的每个实体-关系对的特征提取。负责将实体关系对中所有有用特征打包成向量，以供顶部块使用。底部输入是随机初始化的源实体embedding，关系embedding，和一个特殊的[CLS]；令牌embedding
2，顶部：context Transformer 从底部的输出聚合关系信息。其输入是来自底部的输出和一个特殊的[GCLS]embedding.对于连接预测的交叉熵损失函数此时为：

作者进一步设计了一个掩码实体预测任务，以平衡来自关系上下文和源实体本身的信息。
具体的HittER模型如下图所示：

该模型中还存在下面两个问题：
1，由于源实体通常包含用于连接预测的高质量信息，并且学习从广泛地噪声上下文中提取有用的信息需要大量的努力，因此模型可以简单的学习忽略附加的上下文信息。
2，引入丰富的上下文信息可能会反过来降级源实体的信息，并包含虚假的相关性&#x