ATTH：Low-Dimensional Hyperbolic Knowledge Graph Embeddings

目录

一、summary

二、method

Hyperbolic geometry

model

head embedding

Attention+translatiom

Score functon 

三、experiment

1.dataset

2.Link predition for low-dimension d=32

总结

一、summary

提出了ATTH模型以对知识图谱的层次性和逻辑关系进行建模，具体为:

        1.不同关系学习不同的曲率；

        2.参数化等距双曲，以建模关系的逻辑模式；

        3.使用“双曲注意力”将几何操作与捕获逻辑模式结合起来。

二、method

Hyperbolic geometry

定义一个负曲率-c的庞加莱球，通过指数变换和对数变化实现从庞加莱球到切空间的变换.

利用M ̈obiu加法计算球上的矢量加法，同时定义双曲空间两点的距离为:

 基于Givens变换，在偶数维度d中，利用块对角阵参数化rot和rel：

 基于注意力机制学习两种等距映射

model

head embedding

Attention+translatiom

 

Score functon 

三、experiment

 

1.dataset

2.Link predition for low-dimension d=32

双曲嵌入能更好表达层次结构，在FB15k-237，ATTH和MuRP表现差不多，translation is sufficient。

在WN18RR上，双曲嵌入更好的表示层次关系。

不同的几何操作捕获不同的逻辑关系，rot捕获反对称，ref捕获对称。

高维空间中，双曲空间和欧式空间的表现差不多，且随着维度的升高ROTH的曲率越来越靠近0.

---

总结

ATTH模型对不同关系学习不同的曲率，相较于固定曲率表现更好，基于rot和ref操作捕获不同的逻辑关系模式，基于attention可以建模混合的关系模式。该模型在低维情形表现优异，但在高维情形中与欧氏空间表现差不多，因为随着维度的升高，欧氏空间具备很好地表达层次关系和逻辑关系模式。