问答-基于开放领域问答
文章平均质量分 79
nopSled
一周一更
展开
-
WebGPT: Browser-assisted question-answering with human feedback
NLP中的一个不断增长的挑战是长篇问答(LFQA),其中给定一个开放领域的问题,然后生成一个篇章级的答案。LFQA系统有可能成为人们学习世界知识的主要方式之一,但目前仍落后于人类性能。现有的工作倾向于关注任务的两个核心组成部分,即信息检索和生成。在这项工作中,我们利用现有的方案实现这些组件:我们利用Microsoft Bing Web Search API来进行文档检索,并利用无监督预训练来微调GPT-3以实现高质量的生成。我们没有尝试改善这些组件,而是专注于使用更可靠的训练目标将它们结合在一起。翻译 2023-01-13 14:23:28 · 913 阅读 · 0 评论 -
A Copy-Augmented Generative Model for Open-Domain Question Answering翻译
开放领域问答是一项具有挑战性的任务,其具有广泛的应用场景。现有的方法主要遵循标准的两阶段范式:先检索后阅读(retriever then reader)。在本文中,我们专注于提高reader模块的有效性,并提出一种新的复制增强的生成方法,以整合抽取式和生成式reader的优点。 特别是,我们的模型是基于强大的生成式模型FiD来优化的。我们通过整合指针网络来鼓励模型直接从检索到的段落中复制单词,从而增强原始reader。我们在两个基准数据集(Antorequestions and Triviaqa)上进行实验翻译 2022-06-15 14:08:04 · 185 阅读 · 0 评论 -
Recipes for building an open-domain chatbot翻译
摘要构建开放领域聊天机器人是机器学习研究的具有挑战性的部分。虽然先前工作表明,对参数的数量和训练数据的大小进行调整,有助于神经模型的训练,但我们展示了其他部分对高性能的聊天机器人也很重要。良好的对话需要具备像专业健谈人士以无缝方式衔接各轮对话的技能:提供有效的谈话主题并倾听他们的对话伙伴,并适当地展示知识,同理心和个性,同时保持协调的角色。我们表明,在给予适当的训练数据和生成策略的选择时,大规模训练模型可以学习这些技能。我们使用90M,2.7B和9.4B参数型号分别构建这些模型的变体,并使我们的模型和代码翻译 2022-01-19 12:13:53 · 402 阅读 · 0 评论 -
Read + Verify: Machine Reading Comprehension with Unanswerable Questions翻译
摘要翻译 2020-06-08 16:09:38 · 502 阅读 · 0 评论 -
Denoising Distantly Supervised Open-Domain Question Answering
摘要远距离监督的开放领域问答(DS-QA)的目的是在未标记文本的集合中找到答案。现有的DS-QA模型通常从大型语料库中检索相关段落,并应用阅读理解技术从最相关的段落中提取答案。他们忽略了其他段落中包含的丰富信息。此外,远距离监督的数据不可避免地会伴随着错误的标签问题,而这些嘈杂的数据将大大降低DS-QA的性能。为了解决这些问题,我们提出了一种新颖的DS-QA模型,该模型采用段落选择器过滤掉那些嘈杂的段落,并使用段落阅读器从那些去噪的段落中提取正确答案。实际数据集上的实验结果表明,与所有baselines相翻译 2020-06-01 10:25:50 · 261 阅读 · 0 评论 -
Simple and Effective Multi-Paragraph Reading Comprehension翻译
摘要我们介绍了一种将神经段落级问答模型适应于以整个文档作为输入的情况的方法。当前大多数问答模型无法扩展到文档或多文档输入,并且天真地将这些模型独立地应用于每个段落,这通常会导致它们被无关紧要的文本分散注意力。我们表明,通过使用改进的训练方案(教模型忽略不包含答案的段落),可以显着提高性能。我们的方法涉及从每个文档中采样多个段落,并使用一个要求该模型产生全局正确输出的目标函数。我们还会识别和改进在处理文档级数据时出现的许多其他设计决策。 在TriviaQA和SQuAD上进行的实验表明,我们的方法改进了现有技翻译 2020-05-31 14:55:47 · 352 阅读 · 0 评论 -
ASK THE RIGHT QUESTIONS: ACTIVE QUESTION REFORMULATION WITH REINFORCEMENT LEARNING翻译
摘要我们将问答(QA)框架定义为强化学习任务,这种方法称为主动问答。我们提出一个agent,该agent位于用户和黑盒问答系统之间,并学会重新制定问题以得出最佳答案。agent使用对初始问题进行的许多自然语言重构成来探查系统,并汇总返回的证据以得出最佳答案。对重构系统进行了端到端训练,以使用策略梯度最大程度地提高回答质量。我们对SearchQA进行评估,SearchQA是从Jeopardy!中提取的复杂问题的数据集。该agent的性能超过了最新的基本模型,发挥了环境和其他基准的作用。我们还分析了agent翻译 2020-05-21 10:40:41 · 637 阅读 · 0 评论 -
QANET: COMBINING LOCAL CONVOLUTION WITH GLOBAL SELF-ATTENTION FOR READING COMPREHENSION翻译
摘要当前的端到端机器阅读和问答(Q&A)模型主要基于循环神经网络(RNN)。尽管获得了成功,但由于RNN的序列性质,这些模型在训练和推理上通常很慢。我们提出了一种新的被称为QANet的Q&A体系结构,它不需要循环网络:其编码器仅包含卷积和self-attention,其中卷积建模了局部交互,而self-attention建模了全局交互。在SQuAD数据集上,我们的模型在训练上快了3到13倍,在推理上快了4到9倍,同时获得与循环模型同等的准确性。加速增益使我们可以用更多数据训练模型。因此,我翻译 2020-05-17 15:55:52 · 278 阅读 · 0 评论 -
R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS翻译
摘要在本文中,我们介绍了R-NET,这是一种用于阅读理解类型问答的端到端神经网络模型,旨在回答给定段落中的问题。我们首先将问题和段落与基于门控注意力的循环网络进行匹配,以获取基于问题的段落表示。然后,我们提出了一种自匹配的注意力机制,通过将段落与自身进行匹配来完善表示,从而有效地编码来自整个段落的信息。最后,我们使用指针网络来定位段落答案的位置。我们对SQuAD和MS-MARCO数据集进行了广泛的实验,我们的模型在所有已发布的结果中在两个数据集上均取得了最佳结果。1.介绍 在本文中,我们专注于阅读翻译 2020-05-13 10:16:20 · 252 阅读 · 0 评论 -
Gated Self-Matching Networks for Reading Comprehension and Question Answering翻译
摘要在本文中,我们提出了用于阅读理解类型问答的门控自匹配网络,旨在回答给定了相关段落的问题。我们首先将问题和段落与基于门控注意力的循环网络进行匹配,以获取基于问题的段落表示。然后,我们提出了一种自匹配注意力机制,通过将段落与自身进行匹配来细化表示,从而有效地编码整个段落中的信息。最后,我们使用指针网络来定位段落答案的位置。我们对SQuAD数据集进行了广泛的实验。单一模型在隐藏测试集上的完全匹配评...翻译 2020-05-11 11:14:16 · 330 阅读 · 0 评论 -
Reading Wikipedia to Answer Open-Domain Questions翻译
摘要本文提出了使用Wikipedia作为唯一知识源来解决开放领域问答:任何事实类问题的答案都是Wikipedia文章中的文本范围。 大规模的机器阅读理解任务将文档检索(查找相关文章)与机器文本理解(识别这些文章的答案范围)的挑战结合在一起。我们的方法将基于bigram哈希和TF-IDF匹配的搜索组件与经过训练以检测Wikipedia段落中的答案的多层循环神经网络模型相结合。我们在多个现有QA数据...翻译 2020-04-29 10:07:49 · 498 阅读 · 0 评论 -
Natural Language Comprehension with the EpiReader翻译
摘要我们介绍了EpiReader,这是一种用于文本机器理解的新模型。对非结构化、真实世界文本的机器理解是自然语言处理的主要研究目标。当前对机器理解的测试提出了可以从一些支持性文本中推断出答案的问题,并评估了模型对问题的回答。EpiReader是一个端到端的神经模型,包括两个组件:第一个组件在将问题与其支持的文本进行比较后提出一小组候选答案,第二个组件使用提出的候选答案和问题来形成假设,然后基于其...翻译 2020-04-24 09:37:15 · 368 阅读 · 0 评论 -
Text Understanding with the Attention Sum Reader Network翻译
摘要最近引入了几个大型的完形填空样式【context-question-answer】的数据集:CNN和Daily Mail新闻数据以及儿童书籍测试。由于这些数据集的大小,与其他方法相比,使用了深度学习技术的文本理解任务是非常适合的。我们提出了一个新的简单模型,该模型使用注意力直接从上下文中选择答案,而不是像在类似模型中通常那样使用文档中单词的混合表示来计算答案。这使得该模型特别适用于答案是文档...翻译 2020-04-16 10:03:15 · 228 阅读 · 0 评论 -
Teaching Machines to Read and Comprehend翻译
摘要教机器阅读自然语言文档仍然是一项艰巨的挑战。可以对机器阅读系统回答问题的能力进行测试,该问题基于它所看到的文档被提出,但是到目前为止,对于这种类型的评估,缺少大规模的训练和测试数据集。在这项工作中,我们定义了一种解决该瓶颈并提供大规模监督阅读理解数据的新方法。这使我们能够开发一类基于注意力的深度神经网络,以最少的语言结构先验知识来学习阅读真实文档和回答复杂问题。1.介绍从浅层的词袋信息检...翻译 2020-04-10 14:05:00 · 443 阅读 · 0 评论 -
MEMORY NETWORKS翻译
摘要我们描述了一种称为记忆网络的新型学习模型。记忆网络通过将推理组件与长期记忆组件结合在一起来实现推理;他们将共同学习如何进行推理。长期记忆可以被读取和写入,目的是将其用于预测。我们在问答(QA)的情况下研究这些模型,其中长期记忆有效地充当(动态)知识库,并且输出的是文本响应。我们在大规模QA任务以及由模拟世界生成的较小但更复杂的精细任务上对它们进行评估。在后者中,我们通过链接多个支持语句来回答...翻译 2019-10-18 10:20:45 · 191 阅读 · 0 评论