干货 | 关于机器翻译，看这一篇就够了

作者简介

俞谦，携程度假大数据研发部算法工程师，主要负责机器翻译的研究与应用，目前专注于自然语言处理在垂域下的成熟解决方案。

机器翻译技术的发展一直与计算机技术、信息论、语言学等学科的发展紧密相随。从早期的词典匹配，到词典结合语言学专家知识的规则翻译，再到基于语料库的统计机器翻译，随着计算机运算能力的提升和多语言信息资源的爆发式增长，机器翻译技术逐渐走出象牙塔，开始为普通用户提供实时便捷的翻译服务。

本文将简单介绍机器翻译技术的发展，包含机器翻译的演进历史与基本思想、端到端的神经翻译网络内部细节、技术落地过程中的部分实践经验，以及对翻译技术未来发展方向的一些思考。

一、发展历程

机器翻译的研究历史可以追溯到 20 世纪三四十年代。走过六十年的风风雨雨，机器翻译经历了一条曲折而漫长的发展道路，学术界一般将其划分为如下四个阶段：

1.1 开创期（1947-1964）

1954 年，美国乔治敦大学（GeorgetownUniversity） 在 IBM 公司协同下， 用 IBM-701计算机首次完成了英俄机器翻译试验，向公众和科学界展示了机器翻译的可行性，从而拉开了机器翻译研究的序幕。

从20世纪50年代开始到20世纪60年代前半期，机器翻译研究呈不断上升的趋势。美国和前苏联两个超级大国出于军事、政治、经济目的，均对机器翻译项目提供了大量的资金支持，而欧洲国家由于地缘政治和经济的需要也对机器翻译研究给予了相当大的重视，机器翻译一时出现热潮。这个时期机器翻译虽然刚刚处于开创阶段，但已经进入了乐观的繁荣期。

1.2 受挫期（1964-1975）

1964年，为了对机器翻译的研究进展作出评价，美国科学院成立了语言自动处理咨询委员会(AutomaticLanguage Processing Advisory Committee，简称ALPAC委员会)，开始了为期两年的综合调查分析和测试。

1966年11月，该委员会公布了一个题为《语言与机器》的报告（简称ALPAC报告） ，该报告全面否定了机器翻译的可行性，并建议停止对机器翻译项目的资金支持。这一报告的发表给了正在蓬勃发展的机器翻译当头一棒，机器翻译研究陷入了近乎停滞的僵局。

1.3 恢复期（1975-1989）

进入 70 年代后，随着科学技术的发展和各国科技情报交流的日趋频繁，国与国之间的语言障碍显得更为严重，传统的人工作业方式已经远远不能满足需求，迫切地需要计算机来从事翻译工作。

同时，计算机科学、语言学研究的发展，特别是计算机硬件技术的大幅度提高以及人工智能在自然语言处理<