知识图谱与bert

一、图谱补全

1.KG-BERT: BERT for Knowledge Graph Completion

(计算三元组的分类、实体预测、关系预测都达到SOTA水平)

1.1背景和目的

三元组的知识图谱在完整度上还有很大的差距 ，评估图谱中不存在的三元组的合理性。
现有方法中，其一 knowledge graph embedding，由于图谱稀疏性只用了结构信息。
其二，使用了文本信息，忽略了上下文下信息

本文方法：将实体和关系视为文本序列，将补全问题视为序列分类问题。之后fine-tune bert来实现预测关系或者检测关系合理性

1.2 模型

Fine-tune bert 两种模型

(h, r, t) as a single sequence.可以是实体sentence，也可以是实体本身

一种利用预测三元组的合理性
输入的头尾实体可以是一个实体句子，也可以是实体本身，打分函数是sigmoid函数，损失函数是交叉熵

另一种预测两个实体直接的关系
由于是多分类，分数函数变成softmax函数

1.3 实验

数据集

1.3.1验证能否判断一个不可见的三元组是否为真

1.3.2 通过一个实体和关系预测出另一个实体

1.3.3通过两个实体预测他们的关系

1.4 总结

总结就是对bert的巧用，由于bert的强大，未来可以试试XLNet预训练模型，作为知识理解的增强工具等。