Phrase-Based & Neural Unsupervised Machine Translation

该论文介绍了无监督机器翻译的改进方法,包括优化的初始化策略和迭代反向翻译。作者提出NMT和PBSMT模型,通过语言模型学习和反向翻译迭代提高翻译质量,尤其在相近语言间的翻译效果显著。
摘要由CSDN通过智能技术生成

Phrase-Based & Neural Unsupervised Machine Translation

论文:Phrase-Based & Neural Unsupervised Machine Translation
代码:Github
这篇Paper是EMNLP 2018的best paper,用于实现无监督机器翻译,不过无监督机器翻译的思想早就有研究者提出来了,这篇paper是在前人的基础上做了一些优化改进,使得模型更加容易训练,效果也有所提升。作者提出了两个模型,一个是NMT(神经机器翻译)模型,另一个是PBSMT(基于短语的统计机器翻译)模型。
作者的工作主要体现在以下两个方面:

  • 对于一些相近的语言,作者提出了一种更加简单高效的初始化方法
  • 作者总结了无监督机器翻译的三个原则,并把他们应用到PBSMT,发现效果比NMT还要好。
  • 结合NMT和PBSMT效果可以得到进一步提升

无监督机器翻译的三个关键点

初始化

对于机器翻译问题的病态性,模型初始化是一种自然先验,代表了我们期待的解空间的分布。许多模型采用双语字典,得到逐个词翻译的结果,并以此作为初始化。这样会导致最终翻译的结果不可避免的具有源语言的语法特性。

语言模型

通过在单一语种上训练的语言模型,可以让模型学习到每一种语言中的句子该如何使用。可以提升句子的合理度,通顺度。

迭代反向翻译(Iterative Back-translation)

这里的思路就有点像CV里面的cycleGAN了,先把源语言翻译成目标语言,然后在翻译回来。把一个无监督问题变为了一个有监督问题。

作者提出的无监督机器翻译方法

符号介绍: S S

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值