文献:Chen Z, Lin W, Chen Q, et al. Revisiting Word Embedding for Contrasting Meaning[C] ACL 2015: 106-115.
基本思想
现有的词嵌入模型都是建立在“分布式语义”的假设之上,即“具有相似上下文的词语具有相似语义”,而语义具有对比意义的不同词往往具有相似的上下文. 因而,这些模型难以胜任语义对比分析的任务。
框架
提出如下框架:
(1)Top Hidden Layer负责将词对比语义的各种嵌入表示(SCE、CRM、SDR)集成;
(2)Contrast Inference Layer 负责嵌入表示: CRM与SDR为现有方法,MCE为本文提出的方法。
对比语义嵌入表示方法SCE
启发于Hinton 提出的随机邻域嵌入(stochastic neighbor embedding, SNE)思想“原始空间与嵌入空间中,目标词的邻居分布大致相同”,本文提出SCE(stochastic constrasting embedding),SCE具有如下特征:
在原始空间与嵌入空间中the distribution of the contrasting “neighbors” to be close to the distribution of the “neighbors”
利用词典中的反义词学习constrasting neighbors
在原始空间与嵌入空间中, 词 wk 的具有对比语义邻居词语集与具有相似语义邻居词语集大致不变
词 wk 属于词 wi 的邻居的概率为: p(wk|wi)=exp(−d2i,k)∑|V|m≠iexp(−d2i,m)