论文笔记 | Enhancing Pre-Trained Language Representations with Rich Knowledge for MRC

目录

 

摘要

1 介绍

2  方法

 2.1  KT-NET的主要组件

2.2   知识嵌入和检索

3   实验

3.1  数据集

3.2  实验设置

3.3  结果

4   总结

---

摘要

      机器阅读理解 (MRC) 是 NLP 中⼀项⾄关重要且具有挑战性的任务。 最近，预训练的语⾔模型（LM），尤其是 BERT取得了显著的成功。本文中，作者研究了利用外部知识库 (knowledge base,KB) 结合BERT 的潜力，并由此提出了 KT-NET。它采用注意力机制从知识库中自适应地选择所需的知识，然后将所选知识与 BERT 融合，以实现上下文感知和知识感知预测。这种方法结合了深度 LM 和 KB 的优点，以更好地实现 MRC任务。 实验结果表明，KT-NET 与BERT 相比取得了显着改进，在 ReCoRD 和 SQuAD1.1 基准上的表现优于基线。值得一提的是，KT-NET在 ReCoRD 排⾏榜上排名第⼀，也是提交时 （2019 年 3 ⽉ 4 ⽇）SQuAD1.1 排⾏榜上最好的单⼀模 型。

1 介绍

      机器阅读理解（MRC）需要机器理解文本并回答相关问题，是自然语⾔处理中的⼀项关键任务。 随着深度学习的发展和可用数据集的增加，MRC 在过去几年取得了显著进步。 最近预训练语⾔模型在 MRC 社区引起了轰动。 这些 LM 模型在未标记的⽂本上进行了预训练，然后以基于特征 或微调的方式应用于 MRC，两者都提供了可观的性能提升。在不同的预训练机制中，使用Trans-former并训练 双向 LM 的 BERT⽆疑是迄今为⽌最成功的，在 MRC 和各种其他语⾔理解任务中都展现了最好成果。由于在预训练期间使用了⼤量未标记的数据和深框架，诸如 BERT 的先进LM 能够捕获复杂的语⾔现象，能比以前更好地理解语⾔。

     然而，众所周知，真正的阅读理解不仅需要语言理解，还需要支持复杂推理的知识。因此，尽管经过预训练的LM功能强大，但可以通过整合背景知识进⼀步改进 MRC。图 1 给出 了⼀个来⾃ ReCoRD 的示例。在这个例⼦中，即使像 BERT 这样相当强⼤的模型在这个案例中也失败了，表明了整合知 识的重要性和必要性。

     因此在本⽂中，作者设计了 KT-NET模型，它通过知识库 (KB) 中的附加知识改进了预训练的 LM，目的是充分利⽤深度 LM 所涵盖的语⾔规律和从知识库中获得的高质量知识， 以实现更好的 MRC。 作者利用两个知识库：记录单词之间 的词汇关系的 WordNet、存储实体信念的 NELL。由图1可知，两者都对任务有作⽤。使用了知识库的分布式表示，可以 (i) 不仅在本地整合与阅读⽂本相关的知识，而且在全球范围内整合关于整个知识库的知识； (ii) 以最少的特定⼯程轻松地合并多个 KB。

      如图 2 所示，给定⼀个问题和⼀段话，KT-NET 首先检索潜在相关的 KB embedding 并将它们编码到内存中。 然后依次使用： (i)BERT 编码层（BERT encoding layer）来进行⽂本的深度、上下文感知表示； (ii) 知识集成层（knowledge integration layer），用于从内存中选择所需的 KB 嵌⼊，并将它们与 BERT 集成； (iii) 自匹配层（self-matching layer），来融合 BERT 和 KB em-bedding，从而实现它们之间的交互； (iv) ⼀个输出层来预测最终答案。 通过这种方式，用精选的知识丰富了 BERT，结合了两者的优点，并进行了知识感知预测。

      作者在ReCoRD 和 SQuAD1.1上评估了此方法。在 ReCoRD 上，从新闻⽂章的前几段⽣成⼀个段落，文章的其余部分生成需要背景知识和推理的问题。在 SQuAD1