原文:
e-SNLI: Natural Language Inference with
Natural Language Explanations
摘要
In order for machine learning to garner widespread public adoption, models must be able to provide interpretable and robust explanations for their decisions, as well as learn from human-provided explanations at train time. In this work, we extend the Stanford Natural Language Inference dataset with an additional layer of human-annotated natural language explanations of the entailment relations. We further implement models that incorporate these explanations into their training process and output them at test time. We show how our corpus of explanations,which we call e-SNLI, can be used for various goals, such as obtaining full sentence justifications of a model’s decisions, improving universal sentence represen tations and transferring to out-of-domain NLI datasets. Our dataset1thus opens up a range of research directions for using natural language explanations, both for improving models and for asserting their trust.
为了让机器学习获得广泛的公众接受,模型必须能够为其决策提供可解释的和健壮的解释,并在训练时从人类提供的解释中学习。在这项工作中,我们扩展了斯坦福自然语言推理数据集,增加了一层人类注释的自然语言对蕴涵关系的解释。我们进一步实现模型,将这些解释结合到他们的训练过程中,并在测试时输出它们。我们展示了我们的解释语料库,我们称之为e-SNLI,如何用于各种目标,如获得模型决策的完整句子证明,改进通用句子表示和转移到域外NLI数据集。我们的数据集1为使用自然语言解释开辟了一系列研究方向,既用于改进模型,也用于维护它们的信任。
模型:
结论和未来工作
我们引入了e-SNLI,这是一个大型的自然语言解释数据集,用于识别文本蕴含的重要任务。为了证明e-SNLI的有用性,我们尝试了各种方法来使用这些解释来输出人类可解释的分类决策的完整句子证明。我们还研究了这些解释作为学习更好的通用语句表示和向域外NLI数据集转移能力的附加训练信号的有用性。在这项工作中,我们使用直接递归神经网络架构建立了一系列基线,用于合并和生成自然语言解释。我们希望电子SNLI对未来更先进的模型研究有价值,这些模型将优于我们的基线。最后,我们希望社区能够从其他方向探索数据集。例如,我们还记录了突出显示的单词,并随数据集一起发布。与Das等人[8]中对视觉问题回答的评估类似,我们突出的单词可以为注意力模型[25,22]或事后解释模型提供监督和评估的来源,其中解释由输入的子集组成。