机器翻译简介:
机器翻译又称为自动翻译,是利用计算机将一种自然语言(源语言)转换成另外一种自然(目标语言)语言的过程,本质问题是如何实现两种不同语言之间的等价转换。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。机器翻译是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。同时,机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展,机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。
机器翻译的趋势是让机器更“自主”的学习如何翻译,大致可以分为三个阶段:1980到1990年之间,大多都是基于规则的翻译,包含了转化法(transfer-based)、中间语法(interlingual)、以及辞典法(dictionary-based)等;1990年到2013年之间,开始使用了基于统计的翻译,利用数学统计规律进行翻译;2013年之后,主流的方法开始使用基于神经网络的翻译,主要是使用深度学习的方法。
基于规则的机器翻译
这是最古老的也是见效最快的一种翻译方法,接近人类的翻译思维,先将源语言进行词性分析,根据词性将每个词翻译成对应的目标语言,再对翻译后的词进行语序调整,最终得出翻译后的结果。根据翻译的方式可以分为:直接基于词的翻译、结构转换的翻译、中间语的翻译。如下一个翻译例子可以看出该方法的效果并不好,而且开发成本也很大,因为这种方法极度依赖翻译专家的能力,翻译专家既要有源语言的知识,也要有目标语言的知识。
基于统计的机器翻译
这种方法的基本思想是通过对大量的平行语料进行统计分析,构建统计翻译模型,进而使用此模型进行翻译。通过对输入句子按照词或者句子划分,然后统计出该词或句子在语料库中的概率,最后计算每种结果得出的概率,选取概率最高的作为翻译输出。核心的问题是为翻译过程建立概率模型。如下例子,其中
表示模型的参数。
目前主流的统计机器翻译是2002年Och和Ney提出的隐变量对数线性模型,通过引入生成过程中不可观测的随机变量—隐变量,来构建翻译模型,如下所示,其中z表示翻译过程中的隐变量,
和
分表示特征函数。
基于神经网络的机器翻译
通过学习大量成对的语料让神经网络自己学习语言的特征,找到输入和输出之间的关系,其核心思想是端到端(End-to-End)。2014年时,Kyunghyun Cho和Sutskever先后提出一种End-to-End即所谓的端到端的模型,直接对输入输出建立联系,前者将其模型命名为Encoder-Decoder模型,后者则将其命名为Sequence-to-Sequence模型。
其基本思想是利用神经网络实现自然语言的映射,核心的问题是建立条件概率模型如下左图所示,其中yn表示当前目标语言词,x表示源语言句子,y
LSTM 是很常见Encoder-Decoder模型,其引入解决了长距离重新排序问题,同时将 NMT 的主要难题变成了固定长度向量(fixed-length vector)问题,不管源句子的长度几何,这个神经网络都需要将其压缩成一个固定长度的向量,这会在解码过程中带来更大的复杂性和不确定性,尤其是当源句子很长时 。后面的词向量都会保存前面词向量的信息。
原文:https://www.cnblogs.com/yunkaiL/p/11040687.html