论文浅尝 | KG-FIT: 融合开放世界知识的知识图谱嵌入优化框架（NeurIPS2024）

最新推荐文章于 2025-05-16 14:05:46 发布

程序员笑武

最新推荐文章于 2025-05-16 14:05:46 发布

阅读量627

点赞数 20

文章标签：知识图谱人工智能 java 前端数据库 langchain

本文链接：https://blog.csdn.net/m0_59164304/article/details/147949224

版权

笔记整理：汪俊杰，浙江大学硕士生，研究方向为知识图谱、大语言模型

论文链接：https://arxiv.org/pdf/2405.16412

发表会议：NeurIPS 2024

1. 动机

知识图谱嵌入（Knowledge Graph Embedding, KGE）通过将实体和关系映射到低维向量空间，支持高效的推理和知识发现。然而，传统KGE方法只依赖于图谱结构，忽略实体在开放世界中的丰富语义信息（如背景知识和上下文关联）。而对于一些基于预训练语言模型（PLM）进行微调KG数据的方法来说，现有方法计算成本高且难以适配大语言模型（LLM），且受限于KG自身的知识覆盖范围。例如，KG中可能包含“爱因斯坦”和“相对论”的关系，但缺乏对其生平和其他贡献的细节描述，而LLM可以提供更全面的语义补充。

因此在这项工作提出了KG-FIT算法来解决上述问题，在不微调LLM的前提下，直接利用LLM的开放世界知识增强KG嵌入的语义表达能力。

*2. 贡献*

其贡献可以被概括如下：

(1) 提出了一种利用聚合聚类和LLM引导优化的方法，自动构建语义连贯的实体层次结构。

(2) 提出了一种KGE微调方法，该方法结合了层次结构中的知识和实体的预训练文本嵌入，通过整合大语言模型所捕获的开放世界知识来增强KG的嵌入表示。

(3) 通过在基准数据集上的广泛实证研究，证明了在链接预测准确性方面，相较于最先进的基线方法，KG-FIT方法具有显著提升。

3. 方法

图1. KG-FIT框架示意图

KG-FIT框架如图1所示，其总体可以分为两个阶段：（1） LLM引导的层次实体结构构建；（2）知识图谱嵌入微调。具体流程如下：

*3.1 LLM引导的层次实体结构构建*

*实体嵌入初始化：*

首先利用LLM生成实体的文本描述，并利用嵌入模型对实体名称及生成的文本描述进行嵌入，随后对实体名称和描述文本的嵌入表示进行拼接，构建初始实体嵌入表示。

*种子层次构建：*

基于凝聚层次聚类（Agglomerative Clustering）对实体划分出初级的层次结构，并通过轮廓系数（Silhouette Score）优化聚类阈值。

*LLM引导的层次细化：*

在种子层次构建完成之后，进一步使用LLM来提高知识树的质量，主要步骤为：

（1）分裂操作：LLM递归拆分叶节点聚类，生成更细粒度的子类。

（2）自底向上合并：LLM根据语义相似性调整父节点与子节点的归属关系。

*3**.2* *知识图谱嵌入微调***

在层次化的实体结构构建完毕之后，KG-FIT通过层级结构、文本嵌入以及三个主要的约束优化来微调实体的嵌入表示。

*嵌入初始化**😗

对于实体嵌入，由随机初始化和切片后的文本嵌入进行线性组合得到；对于关系嵌入，则通过将随机向量与切片文本向量以一定系数相加的方法得到。

*多约束优化**😗

在初始化之后，为了进一步提升提升嵌入质量，KG-FIT从三个维度添加约束优化条件：

（1）层次聚类约束：通过簇内紧密度、簇间分离度和层次距离维护，增强嵌入表示的层次一致性。

（2）语义锚定约束：为了防止微调过程中实体嵌入偏离初始语义，添加了实体嵌入与描述文本嵌入之间相似度的约束优化。

（3）链接预测目标：基于传统KGE模型的评分函数（如TransE、RotatE等等）来优化三元组成立的可能性。

最终的训练目标（损失函数）为：

4. 实验

*4.1 主实验结果*

主实验在FB15K-237（通用知识）、YAGO3-10（大规模实体）、PrimeKG（生物医学KG）三个数据集上进行链接预测性能的比较，实验结果如表1所示。结果显示，KG-FIT在链接预测任务上的结果显著优于基于PLM的方法，如KG-BERT、StAR、PKGC等等；同时，对比基础模型，如TransE、RotatE、HAKE等，使用KG-FIT优化嵌入表示之后，其预测效果都存在着提升：

表1 链接预测效果比较

*4.2* *消融实验*

在消融实验部分，对各约束条件的有效性以及不同LLM知识的影响做了探索。

约束有效性

在移除簇内紧密度、簇间分离度、层次距离以及语义锚定中的一个或多个约束，都会导致模型的效果出现一定程度的下降。

表2 约束有效性消融实验

知识源影响

实验尝试使用更先进的LLM（如GPT-4）构建层次结构，以及更先进的嵌入模型进行文本嵌入，发现都能进一步提升性能。

图2 不同LLM对于最终效果的影响

图3 不同文本嵌入模型对于最终效果的影响

*4.3* *效率分析*

在训练和测试效率上，KG-FIT对比现有的基于PLM的方法也十分高效，他比现有最为高效的、基于PLM的方法CSProm-KG快12倍，而且与之相比可以有效融合来自LLM的世界知识。

5. 总结

这项工作提出了KG-FIT，通过整合来自LLM的开放世界实体知识来增强KG嵌入。KG-FIT有效地结合了LLM和KG的知识，以保留全局和局部语义，在基准数据集上实现了最先进的链接预测性能。与基础模型相比，它在准确性方面有了显著提高。同时，KG-FIT可以无缝整合任何LLM的知识，使其能够随着语言模型的不断进步而发展。作者认为未来的工作可以探索将LLM生成的KG三元组摘要作为实体描述纳入训练集中，从而进一步提高嵌入质量。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述