无监督神经机器翻译（UNSUPERVISED NEURAL MACHINE TRANSLATION）学习笔记

无监督神经机器翻译学习笔记

几个月前MikelArtetxe和KyunghyunCho等人提出了一种极具潜力的无监督神经机器翻译（UNSUPERVISED NEURAL MACHINE TRANSLATION）模型，这个模型突破了原有的神经机器翻译需要有足够大的平行语料库的限制，创造了一种可以使用两个单语语料库进行训练的翻译模型，克服了平行语料库不足的难题。同时翻译过程应用到了识别语义的思想，可以被广泛的应用于多语言的翻译系统中。在此对于该文章的学习做一下简单的记录原文

对语义的理解

先来考虑一下婴儿学习一种语言的过程。首先他的父母会在他的面前指这自己不断的说“爸爸”“妈妈”，然而一开始婴儿肯定无法理解什么是“爸爸”，什么是“妈妈”对于他而言这不过是两个特殊的声音或者图像而已。然而随着婴儿不断长大，他们终将会有一天明白站在他面前的那个男人叫“爸爸”，那个女人叫“妈妈”，至于婴儿是怎么样完成这个对应关系的，我们无需理解，可能是长时间的生物进化和婴儿自身的生长把大脑里的一些参数（神经元）进行修改的结果。不管怎么样这个婴儿成功的理解了“爸爸”和“妈妈”这个概念，并可以应用到以后的对话中去。对于中国婴儿而言他们学到的是“爸爸”和“妈妈”，然而对于一个英国人而言他学到的是“father”和“mother”，对于日本人而言他学到的是“父さん”和“母さん”，事实上无论他是哪国人他学到的都是相同的概念，即爸爸和妈妈和对应的是一个男人和一个女人的概念，并且能够理解这两概念有所区别。而当他学会了一种语言后，在去学习第二种语言的时候，别人指者妈妈的图像在告诉他那叫“mother”他就很自然而然的能够把”妈妈“翻译成“mother”，同时如果他也学习日语他就可以吧“妈妈”对应成为“母さん”，这样就可以很快的学习到不同的语言。对于计算机而言，人们一直设想去重复这一过程，不过很不幸，一个良好的语义概念并不容易学到，即便是在这篇文章中，翻译模型所学到的“语义”也仅仅是两种语言之间的语义，对于第三种语言可能并不能完美的表示。究其原因，可能是在学习语义的过程中没有使用图像或者声音等第三方条件去标注这个语义概念，然而在机器翻