机器阅读理解相关论文汇总

最新推荐文章于 2022-02-24 18:57:54 发布

chuanzhuanxian8669

最新推荐文章于 2022-02-24 18:57:54 发布

阅读量504

点赞数

文章标签：人工智能

原文链接：https://my.oschina.net/stevie/blog/1543521

版权

一、综述

1 Emergent Logical Structure in Vector Representations of Neural Readers

二、论文

    1. Learning Recurrent Span Representations for Extractive Question Answering
    2. Answering Complicated Question Intents Expressed in Decomposed Question Sequences
    3. The Amazing Mysteries of the Gutter: Drawing Inferences Between Panels in Comic Book Narratives
    4. Broad Context Language Modeling as Reading Comprehension
    5. Easy Questions First? A Case Study on Curriculum Learning for Question Answering
    6. Machine Comprehension Using Match-LSTM and Answer Pointer
    7. Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering

三、模型

    1. Memory Networks
          1.1 Memory Network
          1.2 End-To-End Memory Networks
          1.3 Ask Me Anything: Dynamic Memory Networks for Natural Language Processing
          1.4 Key-Value Memory Networks for Directly Reading Documents
          1.5 The Goldilocks Principle: Reading Children's Books with Explicit Memory Representations
          1.6 Can Active Memory Replace Attention?
    2. DeepMind Attentive Reader
          2.1 Teaching Machines to Read and Comprehend
    3. Danqi's Stanford Reader
          3.1 A thorough examination of the cnn/daily
    4. Attention Sum Reader
    5. Gated Attention Sum Reader
    6. Attention Over Attention Reader
          6.1 Attention-over-Attention Neural Networks for Reading Comprehension

四、数据集

    1. SQuAD
    2. LAMBADA
    3. Who-did-What(WDW)
    4. CNN & DailyMail
    5. Children's Book Test
    6. BookTest

------------------------------------------------------------------------------------------------------

综述

1 Emergent Logical Structure in Vector Representations of Neural Readers

针对最近提出的各种各样的attention based reader models,本文作者做了一个比较全面的总结和分析，并且通过数学分析和实验展示了模型之间的相关性。

论文

1 Learning Recurrent Span Representations for Extractive Question Answering

【机器阅读】不同的阅读理解数据集产生答案的方式不同，有的是给定N个候选答案，有的是规定从原文中的entity中进行选择，有的是从原文中的任意token进行选择等等。本文所用的数据集是SQuAD，候选答案是原文中的任意字符串，难度较大，答案可能是一个词或者几个词都有可能。本文在前人研究的基础上提出了一种显式表示answer span的模型，取得了不错的效果。

2 Answering Complicated Question Intents Expressed in Decomposed Question Sequences

【复杂问答】基于语义分析的问答系统最近流行于解决长、难问题，本文研究的内容是如何处理多个相互关联的简单问题？（即将复杂问题分解成多个相关简答问题）并给出了一个任务数据集。这个问题的一大难点在于相互关联的问题需要共指消解的工作。本文将单轮问答对话分解成多轮问题过程，上下文的处理非常重要。建议研究聊天机器人的童鞋来精读此文。

3 The Amazing Mysteries of the Gutter: Drawing Inferences Between Panels in Comic Book Narratives

【问答系统】基于上下文的问答已经有很多数据集了，基于图像的问答也有一些数据集了。漫画是一类大家小时候都喜欢的读物，包含了丰富的图像和文本数据（对话）。本文给出了一个大型数据集，包括了丰富的图像和文本，规模在120万（120GB）左右。数据给出了几个任务，基于图像的问答任务，基于对话文本的问答任务和文本排序任务。对问答感兴趣，想找一些新数据来刷一刷榜的童鞋可以看过来。

4 Broad Context Language Modeling as Reading Comprehension

不久前发布的LAMBADA dataset中，作者尝试的各种baseline models都给出了比较差的结果。在观察了LAMBADA dataset之后，我们认为可以利用Reading comprehension models来提升准确率，而不必使用传统的language model。这篇文章中，作者利用了简单的方法和模型将LAMBADA dataset的准确率从7.3%提高到45.4%，非常简单有效。

5 Easy Questions First? A Case Study on Curriculum Learning for Question Answering

6 Machine Comprehension Using Match-LSTM and Answer Pointer

本文提出的模型结合了match-LSTM(mLSTM)和Pointer Net(Ptr-Net)两种网络结构。

7 Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering

作者给出了一个新的中文的QA数据集, 并且提出了一个非常有意思的baseline model.

模型

1 Memory Networks

1.1 Memory Network

Memory Networks为解决长期记忆问题, 提出一类称为Memory Networks的模型框架, 基于该框架构造的模型可以拥有长期(大量)和易于读写的记忆。

1.2 End-To-End Memory Networks

本文提出了一个可以端到端训练的Memory Networks，并且在训练阶段比原始的Memory Networks需要更少的监督信息。

1.3 Ask Me Anything: Dynamic Memory Networks for Natural Language Processing

Question Answering: 给定一段Context，一个与此Context相关的Question，利用模型生成一个单词的Answer。

1.4 Key-Value Memory Networks for Directly Reading Documents

鉴于知识库有知识稀疏、形式受限等问题，本文提出了一种可以通过直接读取文档来解决QA问题的新方法Key-Value Memory Networks。

1.5 The Goldilocks Principle: Reading Children's Books with Explicit Memory Representations

本文对于语言模型（RNN/LSTM/Memory Network生成）到底能够多好或者在多大程度上表示The Children’s Book做了一项测试。测试结果表面Memor　Network上的效果最好。

1.6 Can Active Memory Replace Attention?

Memory Networks和Attention是解决长距离依赖问题的两大方法，Attention模型在NLP的很多任务中都有更好的表现，本文对Memory Networks类模型的缺点进行了分析，并且提出了一种改进模型。改进版的memory模型有不错的表现，并且在长句子机器翻译任务中得到了验证。本文作者来自Google Brain。建议关注自然语言处理的童鞋，不管是关注什么任务，都应该精读一下本文。

2 DeepMind Attentive Reader

2.1 Teaching Machines to Read and Comprehend

2.2 DeepMind 机器理解文本 NLP 技术复现与解析

3 Danqi’s Stanford Reader

3.1 A thorough examination of the cnn/daily

mail reading comprehension task]()

4 Attention Sum Reader

5 Gated Attention Sum Reader

6 Attention Over Attention Reader

6.1 Attention-over-Attention Neural Networks for Reading Comprehension

本文优化了attention机制，同时apply question-to-document and document-to-question attention，提升了已有模型在Cloze-Style Question Answering Task上的准确率。

数据集

数据来自LDC English Gigaword newswire copus。该数据集为了防止文章摘要被使用，每一个问题都从两个独立的文章中生成，一篇用来做Context，一篇用来挖空作为问题。该数据集为了不像CNN&DailyMail那样将实体匿名，所有的问题都是人名实体。而且使用了一些简单的baselines来筛选掉那些容易解决的问题。

4 CNN & DailyMail

Teaching Machines to Read and Comprehend

数据来自CNN和Daily Mail新闻，文章中高亮显示而且挖空的就是问题。为了防止使用外界知识，将命名实体都用ID替换，给出答案候选集。

5 Children's Book Test

The goldilocks principle: Reading childrens books with explicit memory representations

数据来自一个儿童读物，每个问题都是从中挑选出21条连续的句子，将前20条作为Context，将第21条挖空作为问题。

6 BookTest

Embracing data abundance: BookTest Dataset for Reading Comprehension

本文发布了一个新的机器阅读理解数据集BookTest，该数据集最大的亮点是规模大，是Facebook发布的Children’s Book Test的60倍之大。

转载于:https://my.oschina.net/stevie/blog/1543521

chuanzhuanxian8669

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
机器阅读理解相关论文汇总

一、综述 1 Emergent Logical Structure in Vector Representations of Neural Readers 二、论文 1. Learning Recurrent Span Representations for Extr...
复制链接

扫一扫