机器翻译技术的含义、发展和应用

数年前，搜索引擎公司先后上线了机器翻译业务，并凭借其强大的数据挖掘和机器学习能力，不断扩充语言数量、提高翻译质量，提升整体的机器翻译水平。以百度翻译为例，目前已扩充至16种语言，186个语言方向，并支持对文本和网页的翻译，某些场景准确率已经达到实用水平。

■ 机器翻译是什么？

机器翻译是计算语言学的一个分支，也是人工智能领域的一个重要应用，其最早的相关研究可以追溯到20世纪50年代。

随着互联网的飞速发展，人们对语言翻译的需求与日俱增。根据维基百科的数据，目前互联网上存在数百种不同的语言，其中英语内容占互联网全部内容的一半左右，而以英语为母语的互联网用户只占全部互联网用户的四分之一。跨域语言屏障，获取互联网上更多的内容是持续增长的需求。

机器翻译，即通过计算机将一种语言的文本翻译成另一种语言，已成为目前解决语言屏障的重要方法之一。早在2013年，谷歌翻译每天提供翻译服务就达十亿次之多，相当于全球一年的人工翻译量，处理的文字数量相当于一百万册图书。

相比人工翻译，机器翻译可以大幅节约翻译时间，提高翻译效率，满足诸如资讯等时效性要求较高或者海量文本的翻译需求，极大地降低了人力成本。而更重要的是，它让跨语言交流变成每个人都可以拥有的能力：出国、工作、学习很多时候不再求助于人，语言不通不再是人们获取信息和服务的障碍。

■ 机器翻译技术的发展

近些年来，随着大数据的涌现，机器翻译取得的进展有目共睹。通过对海量数据的汇聚、分析、组合，当数据无限多时，机器翻译也许根本不需要再去了解一个句子的意思，也可以翻译得相当漂亮。

近日百度牵头与中科院自动化所、浙江大学、哈尔滨工业大学、中科院计算所、清华大学研发的《基于大数据的互联网机器翻译核心技术及产业化》项目拿到了中国电子学会科技进步奖一等奖。项目成果被院士专家鉴定为“在多策略融合翻译等技术方面取得突破，在翻译质量、翻译语种方向、响应时间三个指标上达到国际领先水平，并取得了显著的经济效益和巨大的社会效益”。

机器翻译的研究经历了基于规则的方法、基于统计的方法、基于神经网络的方法三个阶段的发展。在机器翻译研究的早期，主要 使用基于规则的方法。机器翻译系统根据语言专家编写的翻译规则进行翻译，这是一个机械式的过程。基于规则的方法受限于人工编写的规则的质量和数量，编写规 则非常费时费力，且翻译规则无法用于不同的语言对之间。同时，规则数量增多，互相冲突的规则也随之增多，难以覆盖人类语言的全部情况，这也是机器翻译系统 的瓶颈。

20世纪90年代，基于统计的机器翻译方法被提出，随后迅速成了机器翻译研究的主流方法。统计机器翻译使用双语平行语料 库（即同时包含源语言和与其互为译文的目标语言文本的语料库，作为训练数据。世人熟知的罗塞塔石碑（见下图）可以认为是古老的平行语料库，石碑上 用圣书体、世俗体、古希腊语三种文字记录了相同的内容。正是罗塞塔石碑的发现才使得语言学家们获得了破译圣书体的钥匙。

图  罗塞塔石碑

统计机器翻译模型从平行语料中挖掘出不同语言的词语间的对齐关系，基于对齐关系自动抽取翻译规则。一个经典的统计机器翻译模 型通常包含翻译模型、调序模型和语言模型三部分。翻译模型负责估算单词、短语间互相翻译的概率，调序模型对翻译后的语言片段排序进行建模，而语言模型则用 于计算生成的译文是否符合目标语言的表达习惯。统计翻译模型减少了人工参与，模型本身和训练过程具有语言无关性，大大提升了机器翻译的性能和使用范围。

近年来随着基于神经网络的方法被引入机器翻译领域，机器翻译的性能得到了大幅提高。根据谷歌机器翻译团队发布的信息，谷 歌翻译于 2016 年 9 月上线中英神经网络模型，截至 2017 年 5 月，已经支持 41对双语翻译模块，超过 50% 的翻译流量已经由神经网络模型提供。

机器翻译一个新的趋势是正在“实用化”，被应用到生活场景中。过去机器翻译像是一个“更智能的词典”，帮助人们阅读外文网页内容。现在随着语音和图像识别技术的进步，机器翻译可以更多地与生活场景结合。比如人们出国时可用百度翻译了解菜单、店名、商品信息，看美剧时可以用电脑进行字幕翻译，通过拍照直接翻译出一朵花的名字，再比如开头提到的机器人进行多语翻译采访等等。

神经网络模型同样需要使用平行语料库作为训练数据，但和统计机器翻译将模型拆解成多个部分不同，神经网络模型通常是一个 整体的序列到序列模型。以常见的循环神经网络为例，神经网络模型首先需要将源语言和目标语言的词语转化为向量表达，随后用循环神经网络对翻译过程进行建 模，如图所示。通常会先使用一个循环神经网络作为编码器，将输入序列（源语言句子的词序列）编码成为一个向量表示，然后再使用一个循环神经网络 作为解码器，从编码器得到的向量表示里解码得到输出序列（目标语言句子的词序列）。

图　循环神经网络

神经网络模型近年来已经成为机器翻译领域研究和应用的热点，对于神经网络翻译模型有很多新的改进，例如LSTM、注意力机制、训练目标改进、无平行语料训练等，机器翻译系统的性能正如日方升，一步步接近人类水平。

■ 机器翻译的应用

目前来说，机器翻译的效果还难以达到人类翻译的水平，但是随着机器翻译性能的提升，其应用场景也越来越多样化。谷歌 2006年推出的谷歌翻译（Google Translate）已经走过十几个年头，目前已经支持上百种不同语言，提供了网页、手机客户端、程序API等多种访问方式。2017年5月的数据显示， 谷歌翻译每天为5亿人次提供翻译服务。微软、百度、搜狗、网易等国内外公司也不断优化着自己的机器翻译服务，供大众使用。各种类型的机器翻译服务虽然暂时 还无法直接用于书面翻译，但人们理解其他语言的壁垒已经大大降低，在很多场景下机器翻译都起到了很好的辅助作用。

出国旅游时，语言不通是很多人的一大痛点。各种手机App的拍图翻译使人们可以方便快捷地看懂异国他乡的路标或菜单等， 如图14.34所示。百度、网易等公司将机器翻译成果用于旅游领域，推出专门的便携式翻译机（见下图），只要对着翻译机说出中文，就能自动帮用户 翻译成其他语言，可谓是出国旅游神器。

图　谷歌翻译的拍图翻译

图　百度的便携翻译机

伴随着机器翻译性能的提升，各大公司的目标也逐渐放到了同传领域。在2016年的乌镇互联网大会上，搜狗CEO在演讲中使用 了实时机器翻译技术，能够实时地将演讲语音转换成文字并同步翻译成英文，2018年的博鳌论坛引入了腾讯提供的机器翻译同传技术，然而实际效果并不尽如人 意。可见，目前的机器翻译模型虽然已有很大的进步，但距离替代人类，在同传领域大展拳脚还有很长的一段路要走。

机器翻译领域吸引了越来越多的关注，同时也面临着巨大的挑战。如何克服现有的缺陷（例如神经网络模型可解释性差的问 题），实现翻译性能的进一步提高仍是一个待解决的问题。现阶段机器翻译的应用仍处于简单理解其他语言、辅助翻译等方面，离大规模替代人工翻译还有不小的差 距。但随着业界的广泛关注，人才的不断涌入，机器翻译领域将持续蓬勃发展，人类世界的巴别塔也终会得以重建。

互联网翻译的终极使命就是消灭语言障碍。未来哪一种语言成为通用语言并不重要，但使用互联网翻译工具，就像驾车一样会成为人们的基本技能。我相信，未来机器翻译会做得足够自然流畅，与智能手机、智能手表这些设备融合起来，人们可以便捷地使用，如同随身携带一个翻译助理。而在一些垂直行业上，比如电影字幕的翻译、跨境电商的客服，机器翻译都将迎来用武之地。

随着科技与社会经济的快速发展，相信机器翻译技术必将逐渐改变人们的工作、生活方式，随时随地为人们解决语言障碍，让世界再平一点。

本文部分摘自《百面机器学习》，作者是诸葛越和葫芦娃，这本书目前收录了超过100道机器学习算法工程师的面试题目和解答，其中大部分源于Hulu算法研究岗位的真实场景。个人认为这本书非常值得一看，强烈建议大家买一本纸质书籍放在床头每天查阅，不久的将来您一定能成为机器学习领域的大牛！

来源：我是码农，转载请保留出处和链接！

本文链接：http://www.54manong.com/?id=1195

'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646208", container: s }); })();

'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646147", container: s }); })();