2019年CS224N课程笔记-Lecture 10: Question Answering_question answering任务的f1值怎么计算-CSDN博客

本文链接：https://blog.csdn.net/rhjlife/article/details/107420054

资源链接：https://www.bilibili.com/video/BV1r4411

正文内容

当我们在谷歌浏览器中搜索澳大利亚第三任总统是谁时，谷歌浏览器会告诉我们答案，这就是一个问答系统

而且这是通过我们提问语句的特征进行回答的，而不是基于结构化数据存储的问答，我们今天要讨论的也主要是神经问答系统

问答系统产生的动机

大概意思就是我们现在有特别多的全文文本，早起搜索可能就是返回相关的文档（类似于你想知道现在某俱乐部的负责人是谁，它可能提供你该俱乐部的各种资料，然后你需要自己去这些相关资料中寻找答案），但是人们对于需要答案的需求就更加急迫了（之前的太麻烦，我要算个数学题，给我一个高等数学让我自己学嘛。。。），当然，问答系统也是要给予已有的文本才能进行的，也就是说答案在文本中，我们期望的问答系统是计算机直接在文本中找到答案然后告诉我们，而不是给我们藏着答案的资料/文章/材料，而从计算机中寻找答案这个过程也称为阅读理解。

阅读理解简史

这一部分自行查阅吧

许多早期的NLP工作尝试阅读理解

Schank, Abelson, Lehnert et al. c. 1977 –“Yale A.I. Project”

由Lynette Hirschman在1999年复活

NLP系统能回答三至六年级学生的人类阅读理解问题吗?简单的方法尝试

Chris Burges于2013年通过 MCTest 又重新复活 RC
再次通过简单的故事文本回答问题
2015/16年，随着大型数据集的产生，神经问答系统崛起了，可以建立监督神经系统

Hermann et al. (NIPS 2015) DeepMind CNN/DM dataset
Rajpurkaret al. (EMNLP 2016) SQuAD
MS MARCO, TriviaQA, RACE, NewsQA, NarrativeQA, …

机器理解

课件的解释是：“一台机器能够理解文本的段落，对于大多数母语使用者能够正确回答的关于文本的任何问题，该机器都能提供一个字符串，这些说话者既能回答该问题，又不会包含与该问题无关的信息。”

MCTestReading Comprehension

如下图所示：其实就是给一篇文章，然后问一个相关问题，然后机器从文章选择答案进行回答。

开放领域问答系统简史

Simmons et al. (1964) 首先探索了如何基于匹配问题和答案的依赖关系解析，从说明性文本中回答问题
Murax(Kupiec1993) 旨在使用IR和浅层语言处理在在线百科全书上回答问题
NIST TREC QA track 始于1999年，率先严格调查了对大量文档的事实问题的回答
IBM的冒险！System (DeepQA, 2011)提出了一个版本的问题;它使用了许多方法的集合
DrQA(Chen et al. 2016)采用IR结合神经阅读理解，将深度学习引入开放领域的QA

Turn-of-the Millennium Full NLP QA

这是一个非常复杂的系统，由多模块多组件构成的复杂系统

首先对问题进行解析，使用手写的语义规范化规则，将其转化为更好的语义形式
在通过问题类型分类器，找出问题在寻找的语义类型
信息检索系统找到可能包含答案的段落，排序后进行选择
NER识别候选实体再进行判断
这样的QA系统在特定领域很有效：Factoid Question Answering 针对实体的问答

（类似于人工进行各种规则定义的一样）其结构如下图：

斯坦福问答数据集（SQuAD）

问题：哪个球队赢了50分？
Passage 是来自维基百科的一段文本，系统需要回答问题，在文章中找出答案
答案必须是文章中的一系列单词序列，也就是提取式问答/提取问题回答，答案：

再来看一个例子：

这个例子主要想告诉我们，可能即使是人来回答问题，可能答案都是不一样的，如果理解没有出现差错，可能这些不同答案都是完美的正确答案，甚至是不同方面理解都是正确的～，因为牵扯阅读理解嘛～这个也就引出了评估这一问题。

SQuAD的评估，版本v1.1

作者收集了3个黄金答案，系统在两个指标上计算得分：
完全匹配/精确匹配指标：得分为0/1，您是否匹配三个答案中的一个，如果匹配到了得分为1，否则0分～简单粗暴，但是存在问题
F1指标：将系统和每个答案都视为词袋，具体计算如下：

它不是基于人类选择的跨度完全相同的一种方法，人类选择的跨度容易受到各种影响，包括换行,而且可以避免人们更倾向的答案所带来的影响，所以F1测量被视为更可靠的指标，作为主要指标使用，这两个指标忽视标点符号和冠词(a, an, the only)

然后说了一下，在这个数据集上的排名2016-2019，其中人类的F1是91.2

SQuAD2.0

SQuAD1.0的一个缺陷是，所有问题都有答案的段落，系统(隐式地)排名候选答案并选择最好的一个，这就变成了一种排名任务，你不必判断一个span是否回答了这个问题

针对上面的缺陷：SQuAD2.0中 1/3 的训练问题没有答案，大约 1/2 的开发/测试问题没有答案，对于No Answer examples, no answer 获得的得分为1，对于精确匹配和F1，任何其他响应的得分都为0

SQuAD2.0最简单的系统方法

对于一个 span 是否回答了一个问题有一个阈值评分或者您可以有第二个确认回答的组件，类似自然语言推理或者答案验证

系统可能能很好的找出我们需要的数据类型（例如问时间，找出文章的时间数据），但是并不能真正的理解人类语言的含义，系统没有真正了解一切，仍然在做一种匹配问题（找时间数据等）。

在2.0版本中人类获得的F1=89.4，其他模型最高87.6，相比于1.1版本F1指标有所下降

SQuAD的缺陷

SQuAD 也有其他一些关键限制
- 只有 span-based 答案(没有 yes/no，计数，隐式的为什么)
- 问题是看着段落构造的
  - 通常不是真正的信息需求
  - 一般来说，问题和答案之间的词汇和句法匹配比IRL更大
  - 问题与文章高度重叠，无论是单词还是句法结构
- 除了共同参照，几乎没有任何多事实/句子推理
不过这是一个目标明确，结构良好的干净的数据集
- 它一直是QA dataset上最常用和最具竞争力的数据集
- 它也是构建行业系统的一个有用的起点（尽管域内数据总是很有帮助！）
- 并且我们正在使用它