【论文摘要】An Empirical Study of Content Understanding in Conversational Question Answering

最新推荐文章于 2023-12-02 19:55:53 发布
最新推荐文章于 2023-12-02 19:55:53 发布
阅读量635 收藏 1
点赞数 1
分类专栏： AAAI2020论文选读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LZJ209/article/details/104399474
版权
本文探讨在QuAC和CoQA数据集上训练的模型是否真正理解文本内容，通过实验揭示模型可能更依赖答案位置而非文本本身。论文通过Repeat Attack等方法证明模型在某些情况下仅依据位置信息即可作出预测，暗示当前模型在对话式问答中的局限性，为改进数据集和模型设计提供了方向。
摘要由CSDN通过智能技术生成

本文仅为个人对论文的一点理解，如果有不对的地方烦请指正

戳我看论文原文

论文背景

\quad 机器阅读理解(machine reading comprehension)是NLP领域中一个很有代表性的任务，大体形式是给AI一些信息，向它提出问题，希望其理解文本内容并找到问题的答案。

\quad 用多轮对话的形式来进行问答是当下机器阅读理解当中一个非常重要的任务，这样的情景更接近于真实的应用环境（对于提问方没有多余的限制，只需要像正常说话一样提出问题即可，并且提出的问题的答案可能和上次提出的问题相关，e.g. Q1:谁做了XXX？ Q2:他长什么样？）

\quad 在这个领域中有两个比较有代表性的训练数据集QuAC和CoQA，他们都是人工制造的数据集，在制造数据集时，提问者和回答者通过对话的方式对给定的文本进行多轮的问答，两个模型中的问题均和历史对话有很强的联系，大量的问题需要从历史对话中获取信息。

\quad

最低0.47元/天 解锁文章
LZJ209
关注
专栏目录
论文阅读：An Empirical Study of Spatial Attention Mechanisms in Deep Networks
liyu0611的博客
10-30 4619
１、研究空间注意力机制。 (1)Transformer attention 处理自然语言序列的模型有 rnn， cnn（textcnn），但是现在介绍一种新的模型，transformer。与RNN不同的是，Transformer直接把一句话当做一个矩阵进行处理，要知道，RNN是把每一个字的Embedding Vector输入进行，隐层节点的信息传递来完成编码的工作。简而言之，Transformer...
【文献阅读】An Empirical Study of Spatial Attention Mechanisms in Deep Networks
weixin_43578873的博客
04-14 2367
论文链接：https://arxiv.org/abs/1904.05873 国内镜像：https://xxx.itp.ac.cn/abs/1904.05873 注意力机制使神经网络能够更多地关注输入的相关元素，而不是不相关的部分。 在计算给定query(例如，输出句子中的目标单词)的输出时，某些key(例如，输入句子中的源单词)将根据query按优先级排序。 在确定分配给给定query的某个ke...
[论文阅读]Generalized Attention——空间注意力机制
最新发布
qq_53909832的博客
12-02 2735
Generalized Attention论文阅读
SAM（空间注意力机制）
热门推荐
Major_S的博客
06-19 3万+
待留
第五十九周学习笔记
Peter的脱发日记
09-20 642
第五十九周学习笔记 咦?第五十八周笔记去哪了？ 9月16日TODO LSTM模型from scratch 广义线性模型回顾 两篇论文阅读 晚上将之前的论文整理到github上
An Empirical Study of Web Resource Manipulation in Real-world Mobile Applications.
02-08
随着移动互联网技术的迅猛发展，移动应用程序已成为用户访问和利用Web服务的主要渠道。Android和iOS平台的应用程序内置了Web浏览器，支持通过一组Web资源操纵API来实现便捷的Web服务集成。然而，这种集成技术的便利...
Congruence and typology of diagnoses in school psychology: An empirical study
06-29
Congruence and typology of diagnoses in school psychology: An empirical study CONGRUENCE AND TYPOLOGY OF DIAGNOSES IN SCHOOL PSYCHOLOGY: AN EMPIRICAL STUDY’ PAUL A. McDERMOTT University of ...
An Empirical Study of Spatial Attention Mechanisms in Deep Networks
04-16
注意力机制已经成为深部神经网络中的一个流行组成部分，但是很少有人研究从这些因素计算注意力的不同影响因素和方法如何影响性能。为了更好地理解注意力机制，我们提出了一个实证研究，在一个普遍的注意力公式内，洗...
Two schools or one? An empirical study in England
06-29
An empirical study in England TWO SCHOOLS OR ONE? AN EMPIRICAL STUDY I N ENGLAND GAJENDRA K . VERMA University of East Anglia Norwich, England The comprehensive school of today in British ...
empirical study
04-27
international conference of software engineering 2010 research tracks
paper reading: An Empirical Study of Spatial Attention Mechanisms in Deep Networks
lmwang1234的博客
05-06 738
related works image recognition [22, 43, 19, 24, 51, 15], and video recognition [53, 45]. Study of Spatial Attention Mechanisms General attention formulation Given a query element and a set of key e...
二值网络训练--A Empirical Study of Binary Neural Networks' Optimisation
AI小作坊 的博客
05-22 862
A Empirical Study of Binary Neural Networks’ Optimisation ICLR2019 https://github.com/mi-lad/studying-binary-neural-networks ADAM for optimising the objective, (2) not using early stopping, (3) spli...
Code Representation方面的Empirical Studies
qq_44370676的博客
08-20 1546
Empirical Study的分享
论文阅读：An Empirical Study of Training End-to-End Vision-and-Language Transformers
xiyou__的博客
02-25 2867
摘要 提出Multimodal End-to-end TransformER framework，即METER，通过这个框架研究如何以一个端到端的方式( in an end-to-end manner )设计和预训练一个完全基于transformer的视觉语言模型。 端到端指的是输入是原始数据，输出是最后的结果，整个模型过程相当于黑箱操作；相反，非端到端的方法，数据的预处理部分是单独的模块，需要人工处理（如人工标注数据，人工提取图片特征）（笔者注） 具体地，模型从多个维度被解剖(dissect)为： 视
Attention mechanism --学习笔记
济舒小柏
11-11 490
学习自： （1）注意力机制 （2）什么是自注意力机制？ 0、注意力机制 在seq2seq的模型里面，解码器在各个时间步都依赖相同的背景变量/向量来获取输入序列信息，当编码器为循环神经网络时，背景变量来着它最终时间步的隐藏状态。 但显然，举个例子，若要对不同语言进行翻译，我们在解码器生成输出序列中的每个词可能仅需要利用输入序列中的某一部分信息，也就是应该对每个时间步的编码信息分配不同的注意力。 回忆...
论文笔记-对话系统综述
彼得.攀的blog
09-22 1929
原文出自彼得攀的小站 本文是对论文“A Survey on Dialogue Systems: Recent Advances and New Frontiers”的阅读笔记，该文章是关于对话系统的综述，最后一次修改于2018年年初，主要对2018年之前对话系统相关技术做了一个概要性总结 论文地址 文中[45]这样的编号代表论文中参考文献的编号，可以查阅原始论文 引言 深度学习技术是现在对话系统采...
CVPR 2021 An Empirical Study of Training Self-Supervised Visual Transformers
smile909的博客
04-12 1572
动机 transformer是一种有效的工具。 transformer最初是为机器翻译而引入的，后来成为NLP的主干。由于语言的非局部性、关系自然性，这种长时的、自注意力的行为使transformer成为一种有效的工具。 最近关于视觉transformer（ViT）的工作极大地推动了这一前沿。 ViT纯粹是基于transformer的，而不是与非退化（即non-1×1）的卷积交织在一起的。本论文认为简单地比较自注意力和“卷积”是不精确的。根据定义，卷积有几个性质：权重共享，局部连接，平移同变性。
【论文阅读笔记】An Introductory Survey on Attention Mechanisms in NLP Problems
寸先生的AI道路
12-03 1847
发布时间：2018.11  arxiv  本文是一篇短小精干的注意力机制综述文章，比较值得一读。文章从最基本的注意力机制介入，介绍了注意力机制近年来的变种。文章将近年来的注意力机制分为五个大类并介绍了注意力机制效果评估的方式，最后简单提了一下注意力机制目前的热门发展方向。 最基础的注意力模型来源于2014年Bengio等发布的经典文章《Neural machine translation by...
请概括一下这篇文章的重点：Consumption and Liquidity Constraints: An Empirical Investigation
02-17
这篇文章的重点是通过实证研究消费和流动性限制之间的关系。它分析了消费者在面对不同类型的流动性限制时的消费行为，并研究了这种限制对消费者储蓄、借贷和消费决策的影响。研究结果表明，流动性限制对消费行为有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值