关系抽取的长尾关系: 知识图谱嵌入+GCN+attention的大融合怪

arxiv链接
长尾关系一直是不好解决的问题. 这篇论文使用NYT数据集(53个关系), 训练集包括18000+个关系事实. 在长尾关系(关系事实<200)上有69.2%的成绩.

1.GCN

图谱关系基本都有分级, 没有的可以用K-means或者层次聚类聚出来(距离近的关系为一组).
事先训练一个TransE获得图谱嵌入, 就可以获得关系的嵌入.将这个嵌入赋值给树的对应关系位置. 没有嵌入的上层关系可以用底层嵌入的加和平均.
用两层GCN训练这个树.
最终的特征是GCN的输出和原图谱关系嵌入特征的拼接. 也就是原版和新版都要.

2. 句子特征

训练基于远程监督, 所以使用好用的PCNN结构.

3.Knowledge-aware

这一步有两次attention.

attention 1

上一步获得了所有句子的embedding, 这一步要对所有已有的关系(包括父关系)做attention, 并分别获得关系的attention embedding加权求和.

attention 2

上一个attention获得了句子batch对所有关系的embedding.
考虑到每个关系对最终结果的贡献不同(指父节点, 邻节点的贡献不如目标节点), 因此进行权重计算(公式很简单). 最后每个embedding与自己的权重相乘.

4.计算得分

公式是简单的映射矩阵和归一化.