简介
所谓contradiction detection就是识别句子对中的相反关系。如句子The man is denying an interview和The man is granting an interview就是两句意义相反的句子。contradiction detection就是要检测出这种关系。词对也是类似的,如词overfull和empty就是一对反义词。但是基于传统词向量训练方法训练出来的词向量,并不能很好地应用于这一任务。于是,他提出contradiction-specific word embedding(CWE)模型。
传统方法的缺陷
现在大部分的词向量训练都是基于分布假说的,即上下文相似的词其语义也相似,也就是基于context的词向量训练。这种训练方法在很多自然语言处理任务中都能取得不错的效果,因为其能捕获词的语义,通过相似度计算,我们可以判断两个词的语义是否相等。但是当把它应用到contradiction detection任务中时,效果就不怎么理想了。因为两个意义相反的词,其上下文很有可能是类似的,如词overfull和empty。所以这些词在向量空间中可能靠的比较近,也导致包含这些反义词的句子在向量空间中也靠的比较近,如下图所示。
但是我们希望意义相反的词,他们在向量空间中能够保持一定距离。如下图所示
语料库的创建
要针对contradiction detection任务训练词向量,那么大型的有关contrasting word pairs and sentence pairs的语料库是不可或缺的。现有的词汇库如WordNet包含反义词,但是反义词只是contrasting words的一部分。为了获得能够充分训练词向量的语料库,作者利用了一个大型的注释语料库PPDB。这个语料库包含词汇级和短语级的文本对。对PPDB里的短语对,作者用WordNet寻找该短语对包含的某些词的反义词,并替换之,从而得到一个意义相反的短语对,过程如表1所示
通过这个办法,得到190万的contradiction pairs和160万的paraphrase pairs.
词向量训练模型
模型的结构如下图所示,包括lookup, linear, tanh, sum 和 linear5层。输入层是短语对。contradiction detection可以看做是一个分类任务。解决这个分类任务是通过ranking objective function。该模型的输出是一个二维的向量,包括scores of contradiction category and paraphrase category。
The condition of updating parameters is shown in Equation (1) where md is the margin, t is the target category, t is another category, ot is the confidence score of t category, and ot is the confidence score of t category.
词向量的初始化并不是随机的,是用已经训练好的“Glove”词向量进行初始化。此外,加法用来向量之间的结合以及展示两个输入的短语的语义关系。