A Neighborhood-Attention Fine-grained Entity Typing for Knowledge Graph Completion：AttEt

Re:fused

已于 2022-03-07 15:34:15 修改

阅读量1k

点赞数

分类专栏：知识图谱补全文章标签：知识图谱人工智能深度学习

于 2022-03-07 15:30:57 首次发布

本文链接：https://blog.csdn.net/REfusing/article/details/123331465

版权

知识图谱补全专栏收录该内容

14 篇文章 14 订阅

订阅专栏

该论文提出了AttEt模型，用于知识图谱中的实体类型推测。模型结合entity-level的TransE和neighborhood-level的注意力机制，通过计算邻域权重并进行平滑处理，来预测实体的类型。实验对比显示，考虑邻域信息和注意力机制能有效提升预测准确性。关键词包括：知识图谱、实体类型推测、注意力机制、TransE。

摘要由CSDN通过智能技术生成

论文地址

1 目的

该论文主要用于知识图谱补全的一个子任务，实体类型推测。提出一个方法为AttEt，AttEt通过聚集具有类型特定权重的给定实体的邻域知识，在实现时采用entity-level和neighborhood-level，对于entity-level采用基础的TransE进行训练，而对于neighborhood-level采用注意力机制，对于不同的neighbor赋予不同的权值。

2 模型

2.1 模型结构图

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cosbo8rB-1646637999466)(C:\Users\Home-PC\AppData\Roaming\Typora\typora-user-images\image-20220307104054342.png)]$

$f_{i j}= \begin{cases}+1, & \left(e_{i}, r_{i j}, e_{i j}\right) \text { is hold 即出度 } \\ -1, & \left(e_{i j}, r_{i j}, e_{i}\right) \text { is hold 即入度}\end{cases}$

2.2 权重系数

作为该模型的第一步，需要求当前实体即target_entity周围neighborhod的权重，假设当前实体为 $e_{i}$ ，需要求出当前节点 $i$ 周围的权重 $\alpha_{ij}$ 。对于权重 $\alpha_{ij}$ ，其求解的过程类似于softmax，公式如下图所示：

$\alpha_{i, j}=\frac{1}{z_{i}}\left(\mathbf{W}_{q} \mathbf{t}_{e_{i}}\right)^{\top} \mathbf{W}_{k}\left(\mathbf{e}_{i j}+f_{i j} * \mathbf{r}_{i j}\right)$

对于 $z_{i}$ 求解公式为：

$z_{i}=\sum_{\left(r_{i j}, e_{i j}\right) \in \mathcal{N}\left(e_{i}\right)}\left(\mathbf{W}_{q} \mathbf{t}_{e_{i}}\right)^{\top} \mathbf{W}_{k}\left(\mathbf{e}_{i j}+f_{i j} * \mathbf{r}_{i j}\right), j \in[1, \ldots, n]$

其中 $\mathbf{W}_{k} \in \mathbb{R}^{d \times d}$ , $\mathbf{W}_{q} \in \mathbb{R}^{d \times d}, t_{e_{i}}表示当前target-entity的type$

2.3 平滑因子

关系稀疏：实体的neighborhod（与实体 $e_{i}$ 相关联的实体 $e_{ij}$ ）非常的少，但是实体的 $t y p e$ 较多，导致对于 $t y p e$ 进行预测相关信息较为少，他们的推理缺乏邻域的相关语义支持。例如：Tina_Turner只有两个 neighbors，分别为 (Tina_Turner, hasMusicalRole, wordnet_vocal_music_107282006)和 (Tina_Turner, hasGender, female)。但是却有70多个entity_type。显然，仅靠关系稀疏实体的小范围邻域是很难支持所有实体类型的。

为了提高模型的鲁棒性，引入平滑因子：

$\alpha_{i, j}^{\prime}=(1-\lambda) \alpha_{i, j}+\lambda \frac{1}{n}$

当 $\lambda=0$ 有利于关系密集的实体， $\lambda=1$ 有利于关系稀疏的实体。对于具有不同稀疏度的数据集，有不同的最优 $\lambda$ 。

2.4 neighbor-level 表示（实体相关的neighbor）

$\mathbf{H}^{\text {neighbor }}=\sum_{\left(r_{i j}, e_{i j}\right) \in \mathcal{N}\left(e_{i}\right)} \alpha_{i, j}^{\prime} \mathbf{W}_{v}\left(\mathbf{e}_{i j}+f_{i j} * \mathbf{r}_{i j}\right)$ , $\mathbf{W}_{v} \in \mathbb{R}^{d \times d}$ , $\alpha_{i, j}^{\prime}$ 为平滑因子处理之后的权重系数。

2.5 entity-level表示

entity-level实体涉及的公式： $\mathbf{H}=\sigma\left(\mathbf{W e}_{i}+\mathbf{b}\right)$ ，对于entity-level内容，采用简单的TransE方法，因为仅仅采用baseline而不是采用TransE，使用最简单的Trans系列即可。

2.6 entity-type预测

对于entity-type预测采用融合 $\mathbf{H}^{\text {neighbor }}$ 和 $\mathbf{H}$ ,其公式如下：

$\hat{\mathbf{t}}_{e_{i}}=\operatorname{MLP}\left(\left[\mathbf{H} ; \mathbf{H}^{\text {neighbor }}\right]\right)$

2.7 预测函数

我们定义了预测函数来衡量实体 $e_{i}$ 与其候选实体类型 $t_{e_{i}}$ 之间的匹配得分，如

$s\left(e_{i}, t_{e_{i}}\right)=\left\|\hat{\mathbf{t}}_{e_{i}}-\mathbf{t}_{e_{i}}\right\|_{2}$

2.8 损失函数

$\mathcal{L}=\sum_{\left(e_{i}, t_{e_{i}}\right) \in \Delta_{e_{i}}} \sum_{\left(e_{i}, t_{e_{i}}^{\prime}\right) \in \Delta_{e_{i}}^{\prime}}\left[s\left(e_{i}, t_{e_{i}}\right)-s\left(e_{i}, t_{e_{i}}^{\prime}\right)+\gamma\right]_{+}$ ，其中 $x|_{+}=\max (0, x)$ ， $\gamma>0$ 边际超参数， $\left(e_{i}, t_{e_{i}}\right)$ 和 $\left(e_{i}, t_{e_{i}}^{\prime}\right)$ 分别表示正例和反例。 $\Delta_{e_{i}}$ 正实例集合， $\Delta_{e_{i}}^{\prime}$ 负实例集合。