跨语言词向量笔记6. 从跨语言词向量到多语言词向量

最新推荐文章于 2024-09-30 15:25:33 发布

TimsonShi

最新推荐文章于 2024-09-30 15:25:33 发布

阅读量1.4k

点赞数 2

分类专栏：神经翻译笔记文章标签：多语言NLP 跨语言NLP 词向量

本文链接：https://blog.csdn.net/xacecask2/article/details/102097489

版权

本文介绍了从跨语言词向量扩展到多语言词向量的方法，包括基于映射的方法和使用人工混合语料与联合训练。通过多语言环境，可以解决词语歧义性问题，利用不同语言之间的差异作为正则项，提升词嵌入的质量。研究还探讨了如何使用句级别和文档级别信息来进一步增强多语词嵌入的效果。

摘要由CSDN通过智能技术生成

跨语言词向量笔记6. 从跨语言词向量到多语言词向量

本文完全来自于Anders Søgaard等人的著作[Søgaard2019] Søgaard, A., Vulić, I., Ruder, S., & Faruqui M. (2019). Cross-Lingual Word Embeddings

在获得了双语词向量后，很自然地会考虑将其扩展到多语的环境下。训练多语词向量实际有很强的现实意义：一些工作指出对于词语歧义性问题，多语环境可以提供一种自然的、隐含的监督信号。一些语言对某些意思的定义是含蓄的，另一种语言则可能是外露的。因此使用多种语言做对齐可能可以更好地利用这种隐含的监督信号，达到消歧义以及产生更好的词嵌入的目的。即便是想学习词表之间的一一映射关系，词汇词意上分布的差异也可以扮演一个有效的正则项的角色

使用词级别信息的多语词嵌入

基于映射的方法

多语词嵌入学习里，最直接的仍然是基于映射的方法。这种方法需要一个中枢语言（通常是英语），若要学习 $L$ 个语言的词向量，则需要 $L$ 个单语空间和 $L - 1$ 个种子词典，然后将 $L - 1$ 个空间映射到相同的这个中枢语言空间中。记中枢语言为 $l^p$ ，则映射法的目标函数基本形式为
$\mathcal{L}^1 + \mathcal{L}^2 + \ldots + \mathcal{L}^{L-1} + \mathcal{L}^p + \Omega^{l^1 \rightarrow l^p} + \Omega^{l^2 \rightarrow l^p} + \ldots + \Omega^{l^{L-1} \rightarrow l^p}$