Contradiction Detection with Contradiction-Specific Word Embedding

简介

所谓contradiction detection就是识别句子对中的相反关系。如句子The man is denying an interview和The man is granting an interview就是两句意义相反的句子。contradiction detection就是要检测出这种关系。词对也是类似的，如词overfull和empty就是一对反义词。但是基于传统词向量训练方法训练出来的词向量，并不能很好地应用于这一任务。于是，他提出contradiction-specific word embedding(CWE)模型。

传统方法的缺陷

现在大部分的词向量训练都是基于分布假说的，即上下文相似的词其语义也相似，也就是基于context的词向量训练。这种训练方法在很多自然语言处理任务中都能取得不错的效果，因为其能捕获词的语义，通过相似度计算，我们可以判断两个词的语义是否相等。但是当把它应用到contradiction detection任务中时，效果就不怎么理想了。因为两个意义相反的词，其上下文很有可能是类似的，如词overfull和empty。所以这些词在向量空间中可能靠的比较近，也导致包含这些反义词的句子在向量空间中也靠的比较近，如下图所示。

但是我们希望意义相反的词，他们在向量空间中能够保持一定距离。如下图所示

语料库的创建

要针对contradiction detection任务训练词向量，那么大型的有关contrasting word pairs and sentence pairs的语料库是不可或缺的。现有的词汇库如WordNet包含反义词，但是反义词只是contrasting words的一部分。为了获得能够充分训练词向量的语料库，作者利用了一个大型的注释语料库PPDB。这个语料库包含词汇级和短语级的文本对。对PPDB里的短语对，作者用WordNet寻找该短语对包含的某些词的反义词，并替换之，从而得到一个意义相反的短语对，过程如表1所示

通过这个办法，得到190万的contradiction pairs和160万的paraphrase pairs.

词向量训练模型

模型的结构如下图所示，包括lookup, linear, tanh, sum 和 linear5层。输入层是短语对。contradiction detection可以看做是一个分类任务。解决这个分类任务是通过ranking objective function。该模型的输出是一个二维的向量，包括scores of contradiction category and paraphrase category。

The condition of updating parameters is shown in Equation (1) where md is the margin, t is the target category, t is another category, ot is the confidence score of t category, and ot is the confidence score of t category.

词向量的初始化并不是随机的，是用已经训练好的“Glove”词向量进行初始化。此外，加法用来向量之间的结合以及展示两个输入的短语的语义关系。