概述
针对前人没有验证所抽取的答案是否合理,本篇论文提出了Read + Verify的结构,首先利用无答案阅读器提取候选答案并检测该问题是否无法回答。然后,它利用答案验证器进一步检查预测答案的合法性。一共分为两步:
- 一个用于提取候选答案和验证无法回答问题的无答案阅读器
- 一个用于决定提取的候选答案是否合法的答案验证器
细节
无答案阅读器:将有无答案和答案跨度抽取作为同一个任务进行训练,将答案跨度的打分和没有答案的概率进行softmax标准化,计算联合无答案的损失。同时,若无答案的概率超过某个阈值,我们就认为其无答案。
- 答案跨度提取:默认所有问题均有答案,在文本中按照指针网络找到答案的开始和结束的位置。V是问题的编码表示,U是文本的编码表示。
计算答案的开始位置和结束位置的打分
这个是开始位置和结束位置的损失计算
- 无答案的预测:无答案的预测打分Z
根据答案的开始和结束的概率,计算文本的加权和得到r1和r2的表示