记忆网络之Key-Value Memory Networks

记忆网络之Key-Value Memory Networks

今天要介绍的这篇文章是Facebook在2016年6月发表的一篇文章，相比之前的两篇可以说是更加完美的将Memory Networks应用的了QA任务上。End-To-End那篇文章相比第一篇解决的强监督的问题，从而提出一种端到端的记忆网络，但仍然没有运用到QA的数据集上（虽然专栏的第三篇文章介绍了两篇使用该模型进行QA数据集训练的方法，但是模型的实际效果并不是很好，而且这种针对数据集的修改没有对模型本身进行创新，所以效果提升不明显），而本文在end-to-end的基础上对模型结构进行修改，使其可以更好的存储QA所需要的先验知识（KB或者wiki文章等）。

在这之前先看一下前面两篇文章提出模型的架构示意图来回忆一下：

此外本篇文章还提出了一个全新的数据集movieQA，同时提供了基于知识库和wiki文章还有IE数据库三种先验知识支撑，以便大家对不同知识源的效果进行比较。首先比较一下基于知识库KB和wiki文章的问答系统的区别和各自的优缺点：

• 基于KB的QA，优点是KB具有高度的结构化组织并且有人工构建，所以便于机器处理。缺点是知识的覆盖面不全，会有遗漏和缺失，也就是有些问题在KB中本身就找不到答案，也就是其稀疏性，此外三元组中的实体可能会有变种表示，但KB中也为包含等各种问题。
• 基于wiki 文章的QA，优点是覆盖面广，