知识增广的预训练语言模型K-BERT：将知识图谱作为训练语料

©原创作者 | 杨健

论文标题：

K-BERT: Enabling Language Representation with Knowledge Graph

收录会议：

AAAI

论文链接：

https://ojs.aaai.org/index.php/AAAI/article/view/5681

项目地址：

https://github.com/autoliuweijie/K-BERT

01 背景论述

笔者在前面的论文解读中提到过ERNIE使用基于自注意力机制来克服异构向量的融合，而KEPLER更进一步，将实体的描述文本作为训练语料，利用文本编码器生成实体的初始化语料，避免了异构语义向量的生成。

那么除了这一方式以外，是否还存在别的方式在注入异构知识的过程中解决异构向量的问题呢？

既然造成异构向量的原因在于使用不同的表示学习方式对不同结构的对象进行表示学习，那么一个直接的思路就是将不同结构的对象转换成同一结构，从而使用同一种表示学习方式对其编码。

本文所解读的K-BERT模型正是通过将知识图谱中的三元组转换为文本序列实现了结构的统一，在此基础上使用预训练语言模型编码文本和知识。

具体而言，K-BERT首先将图谱中的三元组视为单向的文本序列，通过对齐输入序列中的相同的实体名作为桥梁，实现文本序列和三元组序列之间的链接，形成如下图所示的句子树结构：