最近实验室要做预训练语言模型和知识图谱结合的交互式智能的研究,于是读了这篇北大与腾讯联合发表的K-BERT: Enabling Language Representation with Knowledge Graph。文章把知识图谱(KG)应用在BERT中创建了K-BERT模型,用以解决BERT模型在专业领域表现不佳的问题,一举解决了HES和KN两大问题。
K-BERT模型主要包括四部分:Knowledge layer、Embedding layer、Seeing layer、Mask-Transformer Encoder
其模型结构如图:
1、Knowledge layer(KL):输入一个sentence“Tim Cook is currently visiting Beijing now.”,本层将KG(知识图谱)中关联到的三元组信息注入到句子中,输出一个sentence tree(每个树枝深度只有1),如图: