【论文笔记】UnifiedQA：新SOTA，生成模型一统问答任务

最新推荐文章于 2024-08-16 08:17:51 发布

iLuz

最新推荐文章于 2024-08-16 08:17:51 发布

阅读量3.6k

点赞数 2

文章标签：深度学习自然语言处理

本文链接：https://blog.csdn.net/weixin_43214867/article/details/122163662

版权

UnifiedQA是首个能处理多种形式问答任务的预训练模型，使用text-to-text架构，通过多任务学习展现出强大的泛化能力，超越了特定任务格式的模型。在多个数据集上微调后，该模型达到了新的SOTA。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

引言

问答任务有多种形式，常见的有抽取式问答(EX)、摘要式问答(AB)、多选题式问答(MC)、判断式问答(YN)。
在这里插入图片描述
一般的解决方案是针对不同形式的问答任务设计不同的模型。例如，抽取式问答、多选题式问答、判断式问答可以转化为分类任务，摘要式问答可以转换为生成任务。
尽管任务形式不同，但模型所需的语义理解和推理能力是共通的，或许不需要 format-specialized models。基于这种直觉，Allen 研究所联合华盛顿大学于2020年11月在 EMNLP 上提出首个可以处理多种形式的预训练问答模型 UnifiedQA，成为多个问答任务的新 SOTA。所有 NLP 任务都能转换为 seq2seq 任务。基于同样的思想，UnifiedQA 是一个 text-to-text 的预训练问答模型，编码器接收用“\n”拼接起来的问题，解码器生成回答。Table 1 展示了四个问答任务的样例。