【论文翻译】KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships
知识图谱(KG)中实体之间的交互作用为语言表征学习提供了丰富的知识。然而,现有的知识增强型预训练语言模型(PLMS)只关注实体信息,而忽略了实体之间的细粒度关系。在这项工作中,我们建议将KG(包括实体和关系)纳入语言学习过程中,以获得KG增强的预训练语言模型,即KLMo。具体来说,设计了一种新的知识聚合器来显式建模文本中的实体片段(entity span)和上下文KG中的所有实体和关系之间的交互。利用一个关系预测目标,通过远程监督来合并关系信息。
翻译
2022-10-03 20:36:37 ·
446 阅读 ·
2 评论