面向语义对比分析的词嵌入

文献：Chen Z, Lin W, Chen Q, et al. Revisiting Word Embedding for Contrasting Meaning[C] ACL 2015: 106-115.

基本思想

现有的词嵌入模型都是建立在“分布式语义”的假设之上，即“具有相似上下文的词语具有相似语义”，而语义具有对比意义的不同词往往具有相似的上下文. 因而，这些模型难以胜任语义对比分析的任务。

框架

提出如下框架：

（1）Top Hidden Layer负责将词对比语义的各种嵌入表示（SCE、CRM、SDR）集成；
（2）Contrast Inference Layer 负责嵌入表示： CRM与SDR为现有方法，MCE为本文提出的方法。

对比语义嵌入表示方法SCE

启发于Hinton 提出的随机邻域嵌入(stochastic neighbor embedding, SNE)思想“原始空间与嵌入空间中，目标词的邻居分布大致相同”，本文提出SCE(stochastic constrasting embedding),SCE具有如下特征：

• 在原始空间与嵌入空间中the distribution of the contrasting “neighbors” to be close to the distribution of the “neighbors”

• 利用词典中的反义词学习constrasting neighbors

• 在原始空间与嵌入空间中, 词$w_k$的具有对比语义邻居词语集与具有相似语义邻居词语集大致不变

词$w_k$属于词$w_i$的邻居的概率为： p(wk|wi)=exp(−d2i,k)∑|V|m≠iexp(−d2i,m)<