综述 | 三大路径，一文总览知识图谱融合预训练模型的研究进展

智源社区

于 2021-09-02 18:01:12 发布

阅读量995

点赞数 1

文章标签：编程语言 python 机器学习人工智能深度学习

本文链接：https://blog.csdn.net/BAAIBeijing/article/details/120073076

版权

当前，预训练模型已是AI领域较为成熟的一项技术，但由于基于神经网络架构的模型本身不具有常识能力，在一些涉及逻辑推理和认知的任务上力有不逮。

近年来，知识图谱越来越受到人们的关注，知识图谱旨在提供一种复杂但灵活的知识的显式建模。许多专家认为，这种新型的知识表示对于预训练模型是一种良好的补充。本文将梳理基于知识图谱增强预训练模型的相关工作，为读者提供这一领域目前的前沿发展状况。

作者：梁子

编校：戴一鸣

为什么要用知识图谱去增强预训练模型？

我们期望，预训练模型能够在需要特定知识或常识的任务中表现得更好。例如，在机器阅读理解中，给定一句《哈利波特》小说中的句子：“Harry Potter points his wand at Lord Voldmort.”，如果要让模型理解这句话，比如哈利波特、伏地魔之间的时空关系，模型就需要知道一些《哈利波特》中的先验知识，让模型对文本中某些实体的有更好的理解，而不仅仅是把它们当作一个称谓（指代）。

在文本生成中，如果要让模型用“河、鱼、网、捉”几个词造句，我们至少应当保证生成的句子符合正常的逻辑关系，比如“人在河里用网捉鱼”，而不是“鱼在捉网”等。这里面就涉及到一些常识。

尽管这些常识已经通过大量的文本预训练或多或少隐式存储在了模型中，但这些知识并不足以让预训练模型处理当下的任务，所以才需要进行知识的注入和增强。另一方面，得到了知识的增强之后，预训练模型可以表现得更像是领域专家，或更像是生活中插科打诨的人。比如你在和对话机器人聊天，你说：“翻译翻译，什么叫惊喜。”你是更希望它把“惊喜”翻译成英文，还是更想让它玩汤师爷的梗呢？

知识图谱与预训练模型结合时的常见问题

了解相关意图之后，再来看看结合需要考虑的难点。将知识图谱信息注入到预训练模型中，常见的三个问题是：

（1）结构化信息的非结构化；

（2）异构特征空间的对齐；

（3）知识噪声的解决。

第一个问题是结构化信息的非结构化。相对于自然语言文本这种非结构化的信息，知识图谱在形式上可以看作是三元组的列表，或者是一张有向图，这样的形式蕴含着比自然语言文本更多的信息，即结构化的信息。如何将这样的信息与擅长提取非结构化文本信息的预训练模型结合起来，是开展工作的第一步。

第二个问题是空间的对齐。由于token部分的特征与知识图谱的embedding是由两种不同的方法得到的，二者所处的特征空间是不完全相同的。针对这类问题，最简单的方法是学习一个线性变换去做向量的对齐。

第三个问题是知识噪声。如果无法进行良好的融合，所融入的知识图谱信息不仅不会提升性能，反而还会降低预训练模型的效果。在embedding层面，知识信息可能会干扰注意力机制的运算，使得当前的推理与预训练模型参数之间发生矛盾；对于在输入文本上的融合，知识噪声可能会破坏原有句子的结构和表达，从而影响模型的理解和生成。

下面介绍的相关工作都是在这三个问题之上进行思考并提出的。

相关工作

用知识图谱增强预训练模型，有多种角度来解决这个问题。从主客关系上看，有通过知识图谱增强预训练模型，以实现更好的知识图谱构建的，也有通过知识图谱引入知识，为预训练模型在NLP本身的下游任务上提升效果的。

从知识图谱与预训练模型的增强方式来看，有通过线性变化、注意力机制等在知识实体与关系的嵌入式表达上进行知识融合的，也有直接使用实体描述，设计特定的预训练模型输入。在面向的任务上，除去GLUE等进行通用自然语言理解测试的benchmark之外，还包括近期热门的知识增强的开放领域问答、常识文本生成等等。

由于相关工作过于庞杂，本文从模型的角度入手，按照知识与预训练模型融合的方式进行分类，仅仅选取具有代表性的工作进行重点分析。粗略划分，知识融合的方法可简单分成三类：embedding层面上的融合，token层面的融合，以及知识图谱与预训练模型的共同学习。下面分别进行介绍：