目录
摘要
机器阅读理解 (MRC) 是 NLP 中⼀项⾄关重要且具有挑战性的任务。 最近,预训练的语⾔模型(LM),尤其是 BERT取得了显著的成功。本文中,作者研究了利用外部知识库 (knowledge base,KB) 结合BERT 的潜力,并由此提出了 KT-NET。它采用注意力机制从知识库中自适应地选择所需的知识,然后将所选知识与 BERT 融合,以实现上下文感知和知识感知预测。这种方法结合了深度 LM 和 KB 的优点,以更好地实现 MRC任务。 实验结果表明,KT-NET 与BERT 相比取得了显着改进,在 ReCoRD 和 SQuAD1.1 基准上的表现优于基线。值得一提的是,KT-NET在 ReCoRD 排⾏榜上排名第⼀,也是提交时 (2019 年 3 ⽉ 4 ⽇)SQuAD1.1 排⾏榜上最好的单⼀模 型。
1 介绍
机器阅读理解(MRC)需要机器理解文本并回答相关问题,是自然语⾔处理中的⼀项关键任务。 随着深度学习的发展和可用数据集的增加,MRC 在过去几年取得了显著进步。 最近预训练语⾔模型在 MRC 社区引起了轰动。 这些 LM 模型在未标记的⽂本上进行了预训练,然后以基于特征 或微调的方式应用于 MRC,两者都提供了可观的性能提升。在不同的预训练机制中,使用Trans-former并训练 双向 LM 的 BERT⽆疑是迄今为⽌最成功的,在 MRC 和各种其他语⾔理解任务中都展现了最好成果。由于在预训练期间使用了⼤量未标记的数据和深框架,诸如 BERT 的先进LM 能够捕获复杂的语⾔现象,能比以前更好地理解语⾔。
然而,众所周知,真正的阅读理解不仅需要语言理解,还需要支持复杂推理的知识。因此,尽管经过预训练的LM功能强大,但可以通过整合背景知识进⼀步改进 MRC。图 1 给出 了⼀个来⾃ ReCoRD 的示例。在这个例⼦中,即使像 BERT 这样相当强⼤的模型在这个案例中也失败了,表明了整合知 识的重要性和必要性。
因此在本⽂中,作者设计了 KT-NET模型,它通过知识库 (KB) 中的附加知识改进了预训练的 LM,目的是充分利⽤深度 LM 所涵盖的语⾔规律和从知识库中获得的高质量知识, 以实现更好的 MRC。 作者利用两个知识库:记录单词之间 的词汇关系的 WordNet、存储实体信念的 NELL。由图1可知,两者都对任务有作⽤。使用了知识库的分布式表示,可以 (i) 不仅在本地整合与阅读⽂本相关的知识,而且在全球范围内整合关于整个知识库的知识; (ii) 以最少的特定⼯程轻松地合并多个 KB。
如图 2 所示,给定⼀个问题和⼀段话,KT-NET 首先检索潜在相关的 KB embedding 并将它们编码到内存中。 然后依次使用: (i)BERT 编码层(BERT encoding layer)来进行⽂本的深度、上下文感知表示; (ii) 知识集成层(knowledge integration layer),用于从内存中选择所需的 KB 嵌⼊,并将它们与 BERT 集成; (iii) 自匹配层(self-matching layer),来融合 BERT 和 KB em-bedding,从而实现它们之间的交互; (iv) ⼀个输出层来预测最终答案。 通过这种方式,用精选的知识丰富了 BERT,结合了两者的优点,并进行了知识感知预测。
作者在ReCoRD 和 SQuAD1.1上评估了此方法。在 ReCoRD 上,从新闻⽂章的前几段⽣成⼀个段落,文章的其余部分生成需要背景知识和推理的问题。在 SQuAD1.1 上,最好的模型已经胜过⼈类的准确率,但仍存在未解决的问题。两者都是很好评估真正阅读理解能力的测试平台。 结果表明,结合知识的模型可以为 BER