DuoRC: Towards Complex Language Understanding with Paraphrased Reading Comprehension

DuoRC分析

数量：186089对Q-A对

Source：来自7680个电影情节，每对来自两个版本，一个版本来自WiKi，另外一个来自IMD。

特征：问题和答案是从描述相同故事的文档的不同版本创建的，通过设计确保，从一个版本创建的问题与包含另一个版本答案的段之间在词汇上几乎没有重叠。

另外，这两个版本在叙事风格和词汇上均不同。

第二个版本的问题需要更深的理解和相关的背景知识。

需要多句子之间的复杂推理。

难点：

1.“多重RC”是专门为包含大量疑问句而设计的，这些疑问句与对应的段落之间的词汇重叠程度很低。

2. 它要求使用背景和常识知识来得出答案，并超越文章本身的内容。

3. 它包含来自电影情节的叙述段落，需要跨多个句子进行复杂的推理来推断答案。

4. DuoRC中的几个问题，虽然看起来是相关的，但是实际上不能从给定的段落中得到回答，因此要求机器检测问题的不可回答性。

模型应该具备一下能力：

1. 使用知识图

2. 常识知识

3. 段落/语义理解

4. 跨文章中事件的多句推理，包括命名实体和名词的同指消解

5. 当问题不能直接回答但在文章中有微妙提示时有根据的猜测(如Q1)

6．识别不能回答的问题。标注为“unknown”

 

具体例子来看，得出答案的分析方式不同。

计算了两个版本之间的字面jaccard距离，即两个样地中词袋的交合比，发现为26%。

（杰卡德距离(Jaccard Distance) 是用来衡量两个集合差异性的一种指标。）

 

Collecting QA pairs from shorter version of the plot (SelfRC):

(1)答案最好是一个单词或一个简短的短语，

(2)不允许提出主观问题(如征求意见)

(3)问题应该只从文章中回答，不要求任何外部知识

(4)问题和答案应该结构良好，语法正确

70%的工人直接从文档中选择答案，30%的工人合成答案。因此，我们收集了85773个这样的QA对及其相应的文档。我们称之为SelfRC数据集，因为答案来自询问问题的同一文档。

Collecting answers from longer version of the plot (ParaphraseRC):

(1)选择与较长版本中的跨度匹配的答案

(2)从头合成答案

(3)标记由于给定段落中缺乏信息而无法回答的问题

在50%的案例中，workers 选择了与文档中的跨度相匹配的答案，而在37%的案例中，他们综合了答案，而在13%的案例中，他们认为那个问题没有答案。

总的来说，SelfRC和ParaphraseRC中62%的问题的答案有部分重叠，这表明质量是合理的。剩下的38%没有重叠的地方可以归因于来自更大情节的问题的不可回答性、信息差距或者两个情节之间信息的释义。

具体而言，只有40.7%的问题在两个文件中有相同的答案。对于大约37.8%的问题，两个答案中的单词没有重叠。对于剩下的21%的问题，这两个答案之间存在部分重叠。

Model：

具体而言，对于数据集的SelfRC版本，大约30%的答案是合成的，并且与文档中的跨度不匹配，而对于ParaphraseRC任务，这个数字是50%。尽管如此，我们仍然可以利用SQuAD数据集的进展，并根据我们的任务调整这些跨度预测模型。为此，我们建议使用两个模型。

寻求采用一个好的跨度预测模型，对于该模型，(i)性能在SQuAD排行榜(Rajpurkar等人，2016b)上的最佳性能模型的3-5％之内，(i i)基于本文作者发布的代码可以再现结果。双向注意流（BiDAF）模型（Seo等人，2016）满足这些标准，因此我们使用这个模型。

我们采用的第二种模型是一个两阶段的过程，首先预测跨度，然后综合跨度的答案。第一步还是使用Bi—DAF，第二阶段，具体而言，在基于查询的抽象摘要中，训练数据是表单{查询、文档、生成的摘要}，在我们的例子中，训练数据是表单{查询、迷你文档、生成的答案}。

Additional NLP pre-processing:

为了解决某些在问题中出现的词不一定出现在原文本中或者是近义词的关系，对整篇文章使用Stanford coreference resolution。如果：(a)两个单词具有相同的表面形式，或者(b)一个单词是单词(例如，河流和河流)的变形形式，或者(c)Glove(Pennington等人，2014)和Skip-thought.(Kiros等人，2015)的嵌入非常接近，则认为两个单词向量非常接近(如果一个出现w，则认为两个单词向量非常接近)。(d)这两个单词出现在Wordnet的同义词组中。

如果至少50%的查询词（忽略停止词）与句子中的词匹配，我们认为句子与问题相关。如果文档中没有一个句子与问题有至少50%的重叠，那么我们选择与问题至少30%的重叠的句子。这个阈值的选择是基于手动观察一个小样本集。这个观察结果给了我们一个概念，即一个合适的阈值应该是什么，这个阈值可以具有合理的精确度，并且可以回忆相关片段提取步骤。由于此步骤是基于规则的，因此我们只能使用这样的定性检查来设置此参数。此外，由于这个步骤的目标是高召回，如果没有找到匹配，我们将阈值放宽到30%。

实验：

理想情况下，SpanModel应该只在测试集中的那些答案与文档中的跨度匹配的实例上进行评估。我们将测试集的这个子集称为基于Span的测试集。虽然并不理想，但我们也在整个测试集上评估SpanModel模型。这是不理想的，因为在测试集中有许多不与文档中的跨度相对应的答案，而模型仅被训练来预测跨度。我们称之为完整测试集。我们还在两个测试集上评估GenModel。