【Joint Language Semantic and Structure Embedding for Knowledge Graph Completion阅读笔记】

《Joint Language Semantic and Structure Embedding for Knowledge Graph Completion》阅读笔记

论文介绍

关键词（方法/相关描述）：LASS；结构信息；联合嵌入；概率结构Loss；反向传播

作者/团队

北大沈剑豪

发表期刊/会议

COLING 2022(CCF-B类)

代码

代码链接:link

0摘要

1 背景

之前的方法要么依赖结构要么依赖KG的语义，本方法将语义与其结构信息联合嵌入KG三元组的自然语言描述中。

2 解决的问题

将语义与其结构信息联合嵌入自然语言描述中

3 解决思路

联合语义和结构嵌入用于KGC

4 解决方法

LASS 通过针对结构化损失微调预训练语言模型 (LM)，将三元组嵌入到向量空间中。带有概率结构的loss捕捉结构信息，前向PLM捕捉语义信息。
结构嵌入旨在语义嵌入中重建结构，通过LM的反向传播来优化概率结构损失。结构化损失将两个实体之间的关系视作实体嵌入之间的转换。

1 介绍

2 相关工作

3 方法

结构嵌入（最右边的箭头）通过反向传播优化 LM 之上的结构化损失，重建语义嵌入中的 KG 结构。结构化损失基于评分函数 f (‖h + r − t‖2 2)，它将两个实体之间的关系对应于实体嵌入之间的翻译。目标是最小化损失函数，使得当 (h, r, t) 成立时 h + r ≈ t。
前向传播无法捕捉三元组的结构信息，因此采用后向传播的方法，根据结构loss（TransE）微调预训练的LM模型

4 实验