论文浅尝 | 编辑基于语言模型的知识图谱嵌入（AAAI2024）

笔记整理：曲晏林，天津大学硕士，研究方向为大语言模型

论文链接：https://arxiv.org/abs/2301.10405

发表会议：AAAI 2024

1. 动机

知识图谱(Knowledge Group, KG)由三元组(头部实体、关系、尾部实体)组成，广泛应用于下游任务，如问答和推荐系统。传统的图谱嵌入方法通常基于结构化信息，如 TransE、RotatE等，但难以表示长尾实体和动态实体。基于语言模型的图谱嵌入方法（PLM-based KGE）利用预训练语言模型捕获图谱结构，并生成更具信息量的表示。然而，PLM-based KGE通常作为静态模型部署，无法适应新知识或纠正错误信息。例如，在总统选举后，需要将图谱嵌入中的“美国总统”从“Donald Trump”更新为“Joe Biden”，这种静态特性使得 PLM-based KGE 无法适应动态变化的环境，限制了其在实际应用中的价值。因此，需要一种高效的图谱嵌入编辑方法，以便快速更新图谱嵌入中的知识，保持其准确性和时效性。

2. 贡献

本文的主要贡献有：

（1）我们提出了一个新的任务，即编辑基于语言模型的KG嵌入。提出的数据集任务可以通过知识编辑为改进KG嵌入开辟新的途径。

（2）我们引入了KGEditor，它可以有效地修改不正确的知识或添加新知识，而不会影响所学知识的其余部分。

（3）我们通过对四个数据集的深入分析进行了广泛的比较，并报告了具有深刻见解的实证结果，证明了所提出方法的有效性。设计了交互式对比学习，以对齐文本和结构信息的潜在表示。

3. 方法

任务定义:

任务包括两个子