论文浅尝 | 如何利用外部知识提高预训练模型在阅读理解任务中的性能

论文笔记整理：吴桐桐，东南大学博士生，研究方向为自然语言处理。

---

链接：https://www.aclweb.org/anthology/P19-1226/

 

近年来，机器阅读理解已经逐渐发展为自然语言理解方向的主流任务之一。最近，预训练模型尤其是 BERT，在各项阅读理解任务中取得了不俗的表现。该篇文章沿用了预训练模型+精调的思路，在经典的 BERT 模型的基础上，通过引入知识图谱中的语义信息来增强阅读理解模型感知上下文和知识的能力。不同于 ERNIE(百度)，ERNIE(清华)，以及 K-BERT(腾讯)等模型在预训练阶段就引入外部知识，该模型设计了 Knowledge Integration 模块，用于在面向任务的精调阶段引入知识。这里的知识特指存在于 NELL 和 WordNet 中的概念及同义词等信息。

本文核心思想在于强调对两个数据源信息的整合(Integration), 即通过预训练模型BERT学习自然语言文本信息，通过预训练的表示学习模型学习知识图谱全局拓扑结构信息，整合的过程也是挑选知识的过程，模型学习的目标之一是学会如何挑选对当前任务有用的知识概念的能力。

</