记忆网络之Key-Value Memory Networks

最新推荐文章于 2024-08-08 11:41:33 发布

liuchongee

最新推荐文章于 2024-08-08 11:41:33 发布

阅读量4.2k

点赞数 3

分类专栏： nlp QA 深度学习深度学习与NLP--论文笔记和TensorFlow实现 QA_对话机器人_机器阅读专题文章标签：深度学习记忆网络 QA nlp

本文链接：https://blog.csdn.net/liuchonge/article/details/78143756

版权

本文深入探讨了Facebook在2016年发表的关于Key-Value Memory Networks在问答系统（QA）上的应用。相较于之前的End-To-End Memory Networks，此模型更好地储存了QA所需的先验知识，如KB或wiki文章。文章提出了新的数据集MovieQA，通过对比基于KB和wiki的QA系统，突显了Key-Value Memory Networks的优势。模型通过key hashing和key addressing实现记忆寻址，value reading进行信息提取，经过多层Hop逐渐接近答案。此外，文章还详细介绍了针对不同知识源的编码方式，如KB Triple、Sentence Level、Window Level和Window + Title等。

摘要由CSDN通过智能技术生成

记忆网络之Key-Value Memory Networks

今天要介绍的这篇文章是Facebook在2016年6月发表的一篇文章，相比之前的两篇可以说是更加完美的将Memory Networks应用的了QA任务上。End-To-End那篇文章相比第一篇解决的强监督的问题，从而提出一种端到端的记忆网络，但仍然没有运用到QA的数据集上（虽然专栏的第三篇文章介绍了两篇使用该模型进行QA数据集训练的方法，但是模型的实际效果并不是很好，而且这种针对数据集的修改没有对模型本身进行创新，所以效果提升不明显），而本文在end-to-end的基础上对模型结构进行修改，使其可以更好的存储QA所需要的先验知识（KB或者wiki文章等）。

在这之前先看一下前面两篇文章提出模型的架构示意图来回忆一下：