Unifying Large Language Models and Knowledge Graphs: A Roadmap

5.1 LLM-augmented KG Embedding

 

知识图嵌入(KGE)旨在将每个实体和关系映射到一个低维向量(嵌入)空间中。这些嵌入包含KGs的语义和结构信息，可用于各种任务，如问答[182]、推理[38]和推荐[183]。传统的知识图嵌入方法主要依靠知识图的结构信息来优化嵌入上定义的评分函数(如TransE[25]和DisMult[184])。然而，由于结构连通性有限，这些方法在表示看不见的实体和长尾关系方面往往存在不足[185]，[186]。为了解决这个问题，如图16所示，最近的研究采用llm通过编码实体和关系的文本描述来丰富KGs的表示[40]，[97]。

5.1.1 LLMs as Text Encoders

Pretrain-KGE[97]是一种具有代表性的方法，其框架如图16所示。给定来自KGs的三元组(h, r, t)，它首先使用LLM编码器将实体h, t和关系r的文本描述编码为表示：

 

其中eh、er和et分别表示实体h、t和关系r的初始嵌入。在实验中，Pretrain-KGE使用BERT作为LLM编码器。然后，将初始嵌入输入到KGE模型中，生成最终嵌入vh、vr和vt。在KGE训练阶段，他们通过遵循标准KGE损失函数来优化KGE模型：