KG-BERT for Knowledge Graph Completion 笔记

Abstract

1、采用预训练的语言模型BERT来补全知识图谱

2、将知识图谱中的三元组视为文本序列，并提出新框架KG-BERT

3、方法：用三元组的实体描述和关系描述作为输入，利用KG-BERT语言模型计算三元组的评分函数

资料查阅:

预训练语言模型 PLMs：预训练模型就意味着先学习人类的语言知识，然后再代入到某个具体任务。

1）基于大规模文本，预训练得出通用的语言表示；2）通过微调的方式，将学习到的知识传递到不同的下游任务

预训练模型的三个关键技术：①Transformer ②自监督学习 ③微调

Introduction

1、KG通常是一个多关系图，KG通常是一个多关系图，包含实体作为节点，关系作为边。

每条边都表示为一个三元组(head entity, relation, tail entity)(简称(h, r, t))，表示两个实体的关系

例如(Steve Jobs, founded, Apple Inc.)

2、知识图谱补全的任务：评估知识图中未出现的三元组的合理性

3、知识图谱补全的常用方法：

”知识图嵌入“它将三元组中的实体和关系表示为实值向量，并用这些向量评估三元组的真实性(Wang et al. 2017)

缺陷：只观察到三元组的结构信息，存在知识图谱的稀疏性问题

BERT的优势：通过掩码语言建模和下一句预测对双向Transformer编码器进行预训练，它可以在预先训练的模型权重中获取丰富的语言知识。