【论文泛读】可变解释生成器:使用可变自动编码器生成自然语言推理的解释

原文题目及作者

Variational Explanation Generator: Generating Explanation for Natural Language Inference using V ariational Auto-Encoder
Zhen Cheng, Xinyu Dai, Shujian Huang, Jiajun Chen

摘要

——近年来，解释性自然语言推理因其逻辑关系预测的可解释性而备受关注，也被称为自然语言推理的解释生成(NLI)。现有的基于区分性编解码架构的解释生成器已经取得了显著的效果。然而，我们发现这些有区别的生成者通常生成具有正确证据但不正确逻辑语义的解释。这是因为逻辑信息隐含地编码在前提-假设对中，难以建模。事实上，前提-假设对和解释之间同样存在逻辑信息。并且很容易提取出明确包含在目标解释中的逻辑信息。因此，我们假设在生成解释时存在一个潜在的逻辑信息空间。具体来说，我们提出了一个称为变分解释生成器的生成模型，它带有一个潜在的变量来建模这个空间。在目标解释中显性逻辑信息的指导下，变量中的隐性变量可以有效地捕捉前提假设对中的隐性逻辑信息。此外，为了解决训练变量时的后验崩溃问题，我们提出了一种简单而有效的方法，称为潜在变量的逻辑监督，以迫使它编码逻辑信息。在解释生成基准——解释——斯坦福自然语言推理(e-SNLI)上的实验表明，与以前的研究相比，所提出的变量实现了显著的改进，并产生了最先进的结果。此外，我们对生成的解释进行分析，以证明潜在变量的作用。

模型：

结论：

在这篇文章中，我们为NLI提出了一个新的生成解释生成器，称为变异解释生成器。变量腿引入了一个潜在变量来模拟前提-假设对和解释之间的全局逻辑信息。此外，引入了一种简单而有效的方法，称为逻辑监督，以避免变异腿的后验崩溃。在NLI解释生成基准上的实验表明，与基本模型相比，所提出的变异腿模型取得了显著的改进，并在电子SNLI上产生了新的结果。在今后的工作中，我们希望使潜在变量更易于解释，并增强潜在变量对解码器的影响。