跨语言词向量笔记4. 句级别对齐方法

本文完全来自于Anders Søgaard等人的著作[Søgaard2019] Søgaard, A., Vulić, I., Ruder, S., & Faruqui M. (2019). Cross-Lingual Word Embeddings

使用平行语料的句子级别方法

使用句子对齐数据的方法基本上都是成功的单语模型的扩展，可以大致分为三类

组成法

组成法由[Hermann2013]引入，思想是将词向量组合成句向量，然后训练模型让平行句各自的向量互相靠近。对于平行句${sent}^s$和${sent}^t$，语言$s$的句子${sent}^s$对应的向量${\mathbf{y}}^s$由组成它的词的词向量相加而得
$${\mathbf{y}}^s=\sum _{i=1}^{|sen{t}^s|}{\mathbf{x}}_i^s$$

训练的目标是最小化已对齐句对$sen{t}^s$和$sen{t}^t$之间的距离

$$E_{\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}}(sen{t}^s,sen{t}^t)=\Vert {\mathbf{y}}^s-{\mathbf{y}}^t{\Vert }^2$$

优化的目标函数是MMHL（Max Margin Hinge Loss），让源句与已对齐目标句之间的距离，比其与随机抽出的负样本之间的距离更近
Ω M M H L = ∑ ( s e n t s , s e n t t ) ∈ C ∑ i = 1 k max ⁡ ( 0 , 1 + E d i s t ( s e n t s , s e n t t ) − E d i s t ( s e n t s , s i t )