【论文笔记】Improving Machine Reading Comprehension with General Reading Strategies（2019，NAACL）

这篇论文在GPT模型的基础上，根据人类认知科学，提出了对非抽取式阅读理解任务的三个优化策略，分别被作者称为前后阅读(BACK AND FORTH READING，BF)，高亮阅读（HIGHLIGHT, HL)，自我评价（SELF-ASSESSMENT，SA），实际上分别对应输入策略，附加信息，数据增强的策略，对如何进行阅读理解的优化有启发作用。

1.介绍

作者认为，相对于抽取式阅读理解问题，非抽取式的任务由于其不限定于用原文回答，大部分问题不在原文出现，因此需要多样的阅读技巧才能回答，比抽取式的简单匹配更能体现阅读能力。

上图展示了几个非抽取式数据集的统计信息和非抽取问题的比例。

作者认为，预训练模型的提升要求的代价很大，从计算力方面和语料方面皆是如此。作者认为在fine-tuning阶段的训练策略也可以很大提升性能。

实际上，就是压榨模型的能力。当然，作者提出的策略也很有启发意义。

作者研究了人类认知学的几篇论文

Measuring esl students’ awareness of reading strategies
Assessing students’ metacognitive awareness of reading strategies.
iSTART: Interactive strategy training for active reading and thinking

提出了三个在实验中证明有效提升效果的策略：

• 前后阅读(BACK AND FORTH READING，BF)：为了找到答案，常常反复按不同顺序进行阅读，在模型中，作者用颠倒问题、答案、文章的输入顺序来模拟这一点。

• 高亮阅读（HIGHLIGHT, HL)：阅读时，高亮有用的信息常常有利于记忆，在模型中作者通过将文章的词嵌入附加问题、答案相关信息来模拟这一点。

• 自我评价（SELF-ASSESSMENT，SA）阅读时，人类通常会通过对自己提问题来确定自己对文章的理解。作者通过从文章中生成一些问题进行反复训练来模拟这点。

实际上SA策略只是通过数据增强来进行训练，而没有在实际预测时进行这一操作，从这一点说，这一策略并不能被称为“自我评价”，只是作者往概念上凑的。

2. 问题定义

作者简单地将阅读理解问题（主要是针对现有数据集）分为了两类：抽取式和非抽取式，抽取式是从文章中摘取一段作为回答，这点没有什么争议，但在本文中作者认为非抽取式都可以转化为多项选择，即我们平时英语考试的阅读理解问题，代表性的数据集是MCTest和RACE。

文章中，对这类问题的定义为，给定一个文章$d$，一个问题$q$，目标是从答案集合 { o 1 , o 2 , . . . , o n } \{o_1,o_2,...,o_n\} { o1​,o2​,...,on​} 中选择出一个正确答案。

特别的，对于文中用的GPT模型，每次输入是 一组$(d,q,o_i$