论文阅读：Explanations for CommonsenseQA ：New Dataset and Models

论文阅读：Explanations for CommonsenseQA ：New Dataset and Models

来源：ACL 2021

下载地址：https://aclanthology.org/2021.acl-long.238.pdf

本文主要贡献：

• 对于构成解释的内容，我们提出了一组特征（反驳完整、全面、最小、连贯）。 对于任何给定的（问题、正确答案选择、错误答案选择）元组，我们的解释构成了一组积极的属性来证明正确的答案选择和一组否定的属性来反驳不正确的答案。
• 我们对最近发布的 CommonsenseQA (CQA) 数据集 (Talmor et al., 2019) 中的 11K QA 对的正面和负面属性进行人工注释。 我们还为每个 QA 对策划了一个自由流动的解释。
• 我们提出了一组用于检索任务和解释生成的模型。 我们的检索系统称为解释生成器 (XG)，包括一个用于生成常识属性的新型两步微调属性生成模型 (XGP) 和一个自由流动解释生成模型 (XGF)。
• 我们进行了广泛的实验来证明 XR 和 XG 系统的有效性。

Abstract

CommonsenseQA (CQA) (Talmor et al., 2019) 数据集最近发布，以推进对常识问答 (QA) 任务的研究。

之前的工作主要集中在为该数据集提出 QA 模型。

我们的工作：目标是从该数据集中检索并生成给定（问题、正确答案选择、错误答案选择）元组的解释。我们的解释定义基于某些需求，并将解释转化为一组积极和消极的常识属性（即事实），这些属性不仅可以解释正确的答案选择，还可以驳斥不正确的答案。我们对从 CQA 数据集中提取的 11K QA 对的正面和负面属性以及自由流解释的首创数据集（称为 ECQA）进行人工注释。我们提出了一种基于潜在表示的属性检索模型以及基于 GPT-2 的属性生成模型，该模型具有新颖的两步微调程序。 我们还提出了一个自由流动的解释生成模型。

表 1：来自 CQA 数据集的示例以及我们的人工注释解释，包含支持正确答案选择的正面属性（绿色）、反驳错误选择的负面属性（红色）和自由流动的自然语言解释（ 蓝色的）。 上面显示的 CoS 解释来自先前的工作（Rajani 等人，2019 年），其信息量不如我们的。

Introduction

QA 中的许多先前工作都集中在构建仅用于预测正确答案的模型上。在本文中，我们解决了为问题的答案生成解释的问题。虽然现有工作着眼于解释模型预测的答案（Amini 等人，2019 年），但我们承担了以模型不同的方式解释给定目标（正确）答案的任务（Jansen 等人，2018 年）。

解释常识性 QA 的已知目标答案是一个重要的研究问题，远未得到解决（Rajani 等人，2019 年）。 解决这个问题的两个主要障碍包括（i）缺乏任何构成解释的必要条件（Horacek，2017）和（ii）缺乏包含高质量人工注释解释的 QA 数据集。

在这项工作中，我们解决了为 CommonsenseQA 任务自动生成解释的整个堆栈。 这包括为解释设置一个需求数据，根据需求数据管理数据集，提出baseline模型和实验。

Related Work

就 QA 中的解释而言，我们可以（i）解