跨语言词向量笔记4. 句级别对齐方法
本文完全来自于Anders Søgaard等人的著作[Søgaard2019] Søgaard, A., Vulić, I., Ruder, S., & Faruqui M. (2019). Cross-Lingual Word Embeddings
使用平行语料的句子级别方法
使用句子对齐数据的方法基本上都是成功的单语模型的扩展,可以大致分为三类
组成法
组成法由[Hermann2013]引入,思想是将词向量组合成句向量,然后训练模型让平行句各自的向量互相靠近。对于平行句 s e n t s {sent}^s sents和 s e n t t {sent}^t sentt,语言 s s s的句子 s e n t s {sent}^s sents对应的向量 y s \boldsymbol{y}^s ys由组成它的词的词向量相加而得
y s = ∑ i = 1 ∣ s e n t s ∣ x i s \boldsymbol{y}^s = \sum_{i=1}^{|sent^s|}\boldsymbol{x}_i^s ys=i=1∑∣sents∣xis
训练的目标是最小化已对齐句对 s e n t s sent^s sents和 s e n t t sent^t sentt之间的距离
E d i s t ( s e n t s , s e n t t ) = ∥ y s − y t ∥ 2 E_{\rm dist}(sent^s, sent^t) = \|\boldsymbol{y}^s - \boldsymbol{y}^t\|^2 Edist(sents,sentt)=∥ys−yt∥2
优化的目标函数是MMHL(Max Margin Hinge Loss),让源句与已对齐目标句之间的距离,比其与随机抽出的负样本之间的距离更近
Ω M M H L = ∑ ( s e n t s , s e n t t ) ∈ C ∑ i = 1 k max ( 0 , 1 + E d i s t ( s e n t s , s e n t t ) − E d i s t ( s e n t s , s i t )