Fast and Continual Knowledge Graph Embedding via Incremental LoRA（三）

最新推荐文章于 2025-12-10 15:53:18 发布

原创

最新推荐文章于 2025-12-10 15:53:18 发布 · 527 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#知识图谱 #embedding #人工智能

Liu J, Ke W, Wang P, et al. Fast and continual knowledge graph embedding via incremental lora[J]. arXiv preprint arXiv:2407.05705, 2024.

引用量：10

图1:CKGE的IncLoRA示意图。上面是随着故事情节的展开，关于哈利波特的KG不断增长，下面是每个快照中具有增量LoRAs的KGE模型。

3 Methodology

3.1 Preliminary and Problem Statement

Growing Knowledge Graph.

增长的知识图谱（KG）表示为快照序列，即G = {S0, S1，…, Sn}。快照Si是一个三元组（Ei, Ri, Ti），其中Ei， Ri和Ti分别表示时间i的实体、关系和三元组的集合。此外，我们将∆Ti = Ti−Ti−1、∆Ei = Ei−Ei−1和∆Ri = Ri−Ri−1分别表示为新的三元组、实体和关系。

Continual Knowledge Graph Embedding.

持续知识图谱嵌入（CKGE）旨在将实体和关系嵌入到不断增长的知识图谱G = {S0, S1，…, Sn}。具体来说，当时间i中出现新的三元组∆Ti时，CKGE学习新实体∆Ei和关系∆Ri的表示，并更新旧实体Ei−1和关系Ri−1的表示，以适应∆Ti。最后得到实体Ei和关系Ri的所有表示。

3.2 Framework

FastKGE的框架如图2所示。总而言之，随着KG在每个快照中增长，利用不同KG层的增量低秩适配器（LoRAs）来学习和保存新的实体和关系。

首先，在知识图谱分层阶段，根据新实体和关系与旧图谱的距离和节点度对其进行分层；

其次，在IncLoRA学习阶段，将每层实体和关系的嵌入表示为具有自适应秩分配的增量LoRAs；

最后，在链接预测阶段，将所有新的LoRA组合到一个LoRA组中，并连接所有LoRA组和初始嵌入以进行推理。

图2:FastKGE框架概述。LoRA组i表示快照i中所有LoRA的集合。

3.3 Graph Layering

为了实现知识图谱的分离存储，并对不同层的LoRAs赋予不同的等级，将新知识按图结构分层。对于新快照i > 0中出现的新三元组∆Ti，我们首先得到新的实体∆Ei和关系∆Ri，并像图2中的阶段1所示对它们进行初始嵌入。然后，为了对快照i中的∆Ei的嵌入进行排序和划分，我们通过与旧图的距离和度中心性计算∆Ei的重要性。具体来说，我们使用广度优先搜索（BFS）算法从Si−1逐步扩展快照i中的∆Ei。然后，我们得到排序后的实体序列：