词嵌入的复用

文献：Labutov I, Lipson H. Re-embedding words[C]//ACL (2). 2013: 489-493.

主要思想：

一方面，词的嵌入表示形式与学习任务密切相关（dramatic (term X) and pleasant (term Y ) to correlate with a review of a good movie (task A)，而在dating profile的场景中，则表现出相反的情感极性）；另一方面，词嵌入学习涉及海量数据，从而计算代价非常之高。再者，许多产生于海量数据的词嵌入表示库可以免费获取。本文从词嵌入知识库的改造与嵌入着手展开研究。

问题形式化

给定源字典$V_S$, 目标字典$V_T$, 令$V_S \cap V_T=V$, 源嵌入字典$\Phi _S \in {\mathbb{R}^{|V| \times K}}$ , 生成目标嵌入字典$\Phi _T \in {\mathbb{R}^{|V| \times K}}$

方法描述

（1）建立有监督模型

文档$d_j \in D$具有情感极性$s_j$， 学习的实质就是最大化如下条件概率(目标函数):

• $p\left( {{s_1}, \cdots ,{s_{|D|}}|D;{\Phi _T}} \right) = \prod\limits_{{d_j} \in D} {\prod\limits_{{w_i} \in {d_j}} {p\left( {{s_j}|{\Phi _T}\left( {{w_i}} \right)} \right)} }$, 其中$p\left( {{s_j} = 1|{\Phi _T}\left( {{w_i}} \right)} \right) = \frac{1}{{1 + \exp \left( { - \varphi \cdot {\Phi _T}\left( {{w_i}} \right)} \right)}}$, $\varphi$是词嵌入表示的权重向量。

（2）正则化有监督模型

为了充分利用现有的词嵌入知识库，对上述目标函数做如下改造：
- $\mathop {\arg \max }\limits_{\varphi ,{\Phi _T}} \prod\limits_{{d_j} \in D} {\prod\limits_{{w_i} \in {d_j}} {p\left( {{s_j}|{\Phi _T}\left( {{w_i}} \right)} \right)} } - \lambda \left\| {{\Phi _T} - {\Phi _S}} \right\|_F^2$

考虑到该目标函数在参数$\varphi$与$\Phi _T$是凸的，故可其唯一解。