Read + Verify: Machine Reading Comprehension with Unanswerable Questions 阅读笔记

最新推荐文章于 2022-03-29 17:01:16 发布
最新推荐文章于 2022-03-29 17:01:16 发布
阅读量230 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yunshang12345/article/details/109638733
版权

Read + Verify: Machine Reading Comprehension with Unanswerable Questions (AAAI 2019) 
 

动机：

SQuAD数据集中包括无答案问题。

1. 以前的工作尝试在预测答案跨度概率之外，还额外预测一个无答案概率，并且在这两项概率之间进行共享归一化操作。这种共享归一化操作会引起概率互相干扰的问题会最终影响无答案检测的精度，导致模型针对无答案问题的检测精度下降。
2. 很多方法都缺少答案验证这一过程。

贡献：

作者提出read+verify 模型，旨在提高系统对于无答案问题的鲁棒性。其贡献在于：

  1. 为了解决概率互相干扰的问题，作者在之前的无答案阅读器（前人的工作上）上引入了两个辅助损失函数，以分别增强答案抽取和无答案检测。
  2. 为了支持独立的答案验证，作者引入了一个额外的答案验证器，该模块旨在通过匹配答案句和问题句以找到支撑答案的局部文本蕴涵关系。为了有
    效地捕捉这种文本蕴含关系，他们还设计了三种不同的答案验证网络结构：序列模型、交互模型和混合模型。
模型：

1.无答案阅读器（之前的工作)。

(1) 利用注意力机制，为问题和段落建立相互感知的隐层表示，V和U.

(2) 利用指针网络预测答案开始和结束位置：\rho=\text{softmax}(W_v^TV),c=\sum^{l_q}_{i=1}\rho_iv_i,\alpha,\beta=\text{point\_network}(U,c), 其中\alpha和\beta分别是答案开始和结束位置的得分。

(3) 检测问题有答案的概率；，同理得到r^2,

基于r^1,r^2和r^3计算无答案得分：

最终优化一个联合训练函数：

2. 两个辅助损失函数

(1) 无论问题是否有答案，对所有问题抽取候选答案；并用额外的指针网络产生另一对答案跨度分数;

通过该损失函数，可以期望模型在不考虑无答案检测的情况下专注于最大化候选答案跨度的概率，从而增强答案抽取精度。
 

(2) 需要根据问题判断段落中是否存在答案，而不用顾及如何抽取候选答案。

（3）合并上述损失函数：

3. 答案验证器

（1） 序列架构：

将答案句子（包含答案或者似是而非的答案所在的句子）S，问题句Q和抽取答案A串联起来得到一个序列[S;Q;A], 并利用切片得到这个序列的嵌入矩阵W_e[X]，并构建这个序列的位置嵌入W_p(构建方法见Transformer).最终得到初始的序列嵌入表示H_0=W_e[x]+W_p;

将该嵌入表述输入到k个transformer块中进行编码H_i=\text{transform\_bock}(H_{i-1})

最后一层隐藏状态的最后一位词表示 h^k_{l_x} 被输入一个线性变换层后，由 softmax 函数归一化得到无答案概率p^{na}

一个标准的交叉熵损失函数被用于最小化负的对数概率：

（2） 交互架构

过于复杂，略

（3） 混合架构

结合序列架构和交互架构，组成混合架构

IDEA:

1.在验证答案阶段，如果答案文本与问题文本相矛盾，需要重新学习。即，答案验证器缺少反馈

 

记忆力退化的玲玲酱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【论文笔记】Read + Verify: Machine Reading Comprehension with Unanswerable Questions
weixin_43643246的博客
06-20 379
概述 针对前人没有验证所抽取的答案是否合理，本篇论文提出了Read + Verify的结构，首先利用无答案阅读器提取候选答案并检测该问题是否无法回答。然后，它利用答案验证器进一步检查预测答案的合法性。一共分为两步： 一个用于提取候选答案和验证无法回答问题的无答案阅读器 一个用于决定提取的候选答案是否合法的答案验证器 细节 无答案阅读器：将有无答案和答案跨度抽取作为同一个任务进行训练，将答案跨度的打分和没有答案的概率进行softmax标准化，计算联合无答案的损失。同时，若无答案的概率超过某个阈值，我们就
Read + Verify: Machine Reading Comprehension with Unanswerable Questions 论文阅读笔记
maka_uir的博客
11-02 2642
原文链接：http://cn.arxiv.org/pdf/1808.05759 Read + Verify: Machine Reading Comprehension with Unanswerable Questions  本篇文章创新点： 1 提出了reader - vertify 结构，首先生成一个答案，再验证答案的合理性 2 提出了三种模型 3 提出了两个独立的loss函数作为...
论文阅读：Read + Verify: Machine Reading Comprehension with Unanswerable Questions
Hero19980512的博客
03-29 886
论文阅读：Read + Verify: Machine Reading Comprehension with Unanswerable Questions 来源：AAAI 2018 摘要： 以前的工作做阅读理解的时候，会预测一个没有答案的概率。但是，他们无法对有答案的结果进行合法性检查，来验证问题的可回答性。 为了解决这个问题，本文提出了一个系统，该系统首先会提取候选答案，然后产生无答案的概率，而且还利用答案验证器来确定预测答案是否由输入片段所包含。 另外，本文引入了两种辅助loss，以及三种不同的答案验证
Read + Verify: Machine Reading Comprehension with Unanswerable Questions翻译
nopSled
06-08 519
摘要
Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification 论文阅读
maka_uir的博客
11-16 739
原文链接：https://arxiv.org/pdf/1805.02220.pdf Abstract        对于真实网络数据来说， 机器阅读理解(MRC)任务通常要求机器通过分析搜索引擎检索出来的多个段落来回答问题。与单一段落的机器阅读理解（MRC）相比，多段落更具挑战性，因为我们可能会从不同段落中得到多个复杂的候选答案。为了解决这个问题，我们提出了一个端到端神经模型，它可以让来自不同...
Passively Q-switched Nd3+:YAG laser with corner cube
02-11
A passively Q-switched Nd^(3+):YAG laser with corner cube is theoretically and experimentally studied. We analyze the polarization variation in cavity and simulate the peak power, pulse energy and ...
Verify:C++ 单元测试
06-22
# include " Verify.h " 创建一个新的验证实例并像这样运行验证： Verify v; // Add tests here v.run(); 在运行验证之前，我们需要创建一些测试。 使用以下格式添加测试： v.test( " Test group name " , new ...
verify:verify.js 极简表单校验插件
05-08
《verify.js：构建高效表单验证的极简插件》 在Web开发中，表单验证是不可或缺的一环，它确保用户输入的数据符合预设的规则，从而保证数据的完整性和安全性。verify.js是一个轻量级、易于使用的JavaScript库，专为...
alipay-verify:用 RSA 验证该死的支付宝通知
07-11
alipay-verifyVerify the damn alipay notification with RSA安装npm install alipay-verify使用require('alipay-verify').verify(params, alipayPubkey)alipayPubkey 格式-----BEGIN PUBLIC KEY-----公钥内容-----...
vue2-verify:vue的验证码插件
05-12
vue2-verify 基于 的验证码项目 项目验证码类型 支持的验证码类型 常规验证码picture 常规的验证码由数字和字母构成，用户输入不区分大小写，可变形成汉字验证。 运算验证码compute 运算验证码主要通过给出数字的加...
C++将对称矩阵进行LDU分解(L是下三角矩阵,D是对角矩阵,U是上三角矩阵)
04-17
该程序用于对矩阵进行分解,采用二级指针,所以矩阵的规模可以由运行人员自己输入. (矩阵分解+前代回代)解线性方程组可以不求系数矩阵的逆,提高运算速度.该程序正是前半部分--矩阵分解
初识机器阅读理解（Machine Reading Comprehension）
bin
07-21 8157
机器阅读理解任务理解与文献查阅 参考博客： https://www.jiqizhixin.com/articles/2018-11-26-10 https://hanxiao.github.io/2018/04/21/Teach-Machine-to-Comprehend-Text-and-Answer-Question-with-Tensorflow/ https://hanxiao.gith...
Multi-Perspective Context Matching for Machine Comprehension 论文阅读笔记
maka_uir的博客
11-04 780
Multi-Perspective Context Matching for Machine Comprehension 原文链接：https://arxiv.org/abs/1612.04211 摘要部分         以前的机器理解(MC)数据集要么太小，无法训练最终的深度学习模型，要么难以评估当前阅读理解技术的能力。新发布的SQuAD数据集消除了这些不利因素，并给我们一个机会来研究一...
机器阅读理解（machine comprehension）
热门推荐
guoyuhaoaaa的博客
03-14 1万+
本篇博客主要参考了2017年的在ICLR会议上发表的论文《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》。所谓机器阅读理解任务，指的就是给一段context描述，然后对应的给一个query，然后机器通过阅读context后，给出对应query的答案。这里做了一个假设，就是query的答案必须是能够在context原文中找到的一段话（也
论文笔记：Teaching Machine to Read and Comprehend
u010995990的博客
02-01 3131
这篇论文可以说是阅读理解领域的奠基之作。 文中最主要的收获就是，提出的三种神经网络模型 1. Deep LSTM Reader 处理过程如图，这个图是用两层的lstm来encoder document ||| query对（这个符号|||表示链接），然后再用得到的表示做分类（得到的输出y，再输入到图右g函数，来做判断）。但是这个两层的lstm我暂时的理解是用了两个lstm...
《R-NET: Machine Reading Comprehension with Self-Matching Networks》阅读笔记
qq_32239207的博客
04-19 1110
《R-NET: Machine Reading Comprehension with Self-Matching Networks》阅读笔记 摘要： 这一篇介绍R-NET，一个端到端的神经网络，目标任务是机器阅读理解任务。 本文特色是，首先设置一个门控注意力网络（gated attention-based recurrent networks）获得包含问题信息的文章表征； 其次设置一个自匹...
清华 NLP 团队推荐：必读的77篇机器阅读理解论文
喜欢打酱油的老鸟
11-06 7343
https://mp.weixin.qq.com/s/2VhgEieBwXymAv2qxO3MPw   【导读】机器阅读理解(Machine Reading Comprehension)是指让机器阅读文本，然后回答和阅读内容相关的问题。阅读理解是自然语言处理和人工智能领域的重要前沿课题，对于提升机器智能水平、使机器具有持续知识获取能力具有重要价值，近年来受到学术界和工业界的广泛关注。清华 NL...
机器阅读理解重要论文与模型Must-read papers on Machine Reading Comprehension
qq_27009517的博客
03-18 1323
reference：https://github.com/thunlp/RCPapers Contributed byYankai Lin, Deming Ye and Haozhe Ji. Model Architecture Memory networks.Jason Weston, Sumit Chopra, and Antoine Bordes. arXiv preprint a...
论文阅读：SQuAD: 100,000+ Questions for Machine Comprehension of Text
RUCblake的博客
02-21 1253
SQuAD是一个用于机器阅读理解任务的数据集，有超过100000个根据维基百科文章提出的问题，问题的答案根据提出问题的相关文章截取。数据集下载地址https://stanford-qa.com。数据集在536篇文章中提出107785个问题-答案对，与以往的数据集列出候选答案集不同，SQuAD要求在给定篇章中间截取问题的答案，扩大了候选的数量，同时通过一些方法保留了问题和答案的多样性。这种范围限定的...
The+environment+variable+JAVA+HOME+(with+the+value+of+C:\Program FilesVavaljdk1.8.0+201)+does+not+po
最新发布
03-03
The environment variable JAVA_HOME is ...4. Verify the changes: Open a command prompt and type "echo %JAVA_HOME%" to verify that the variable is now pointing to the correct JDK installation directory.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值