机器翻译是计算机语言的一个分支,机器翻译

机器翻译简介:

机器翻译又称为自动翻译,是利用计算机将一种自然语言(源语言)转换成另外一种自然(目标语言)语言的过程,本质问题是如何实现两种不同语言之间的等价转换。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。机器翻译是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。同时,机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展,机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。

b2ba6064ebb4ca2631800cdb7298dd25.png

机器翻译的趋势是让机器更“自主”的学习如何翻译,大致可以分为三个阶段:1980到1990年之间,大多都是基于规则的翻译,包含了转化法(transfer-based)、中间语法(interlingual)、以及辞典法(dictionary-based)等;1990年到2013年之间,开始使用了基于统计的翻译,利用数学统计规律进行翻译;2013年之后,主流的方法开始使用基于神经网络的翻译,主要是使用深度学习的方法。

基于规则的机器翻译

这是最古老的也是见效最快的一种翻译方法,接近人类的翻译思维,先将源语言进行词性分析,根据词性将每个词翻译成对应的目标语言,再对翻译后的词进行语序调整,最终得出翻译后的结果。根据翻译的方式可以分为:直接基于词的翻译、结构转换的翻译、中间语的翻译。如下一个翻译例子可以看出该方法的效果并不好,而且开发成本也很大,因为这种方法极度依赖翻译专家的能力,翻译专家既要有源语言的知识,也要有目标语言的知识。

dcae12b49c61a480ede34e4f352b5ee1.png

基于统计的机器翻译

这种方法的基本思想是通过对大量的平行语料进行统计分析,构建统计翻译模型,进而使用此模型进行翻译。通过对输入句子按照词或者句子划分,然后统计出该词或句子在语料库中的概率,最后计算每种结果得出的概率,选取概率最高的作为翻译输出。核心的问题是为翻译过程建立概率模型。如下例子,其中

ec83616498065bda538b76a755d04979.png表示模型的参数。

db965aa12aa3a8919055a3c26548d4a0.png

目前主流的统计机器翻译是2002年Och和Ney提出的隐变量对数线性模型,通过引入生成过程中不可观测的随机变量—隐变量,来构建翻译模型,如下所示,其中z表示翻译过程中的隐变量,

67701be6d68157a3f59594cb18af176f.png

d8a34beb08e4e7c89ade7711667a5180.png分表示特征函数。

3423e70808862eaafe512d37bc98e323.png

基于神经网络的机器翻译

通过学习大量成对的语料让神经网络自己学习语言的特征,找到输入和输出之间的关系,其核心思想是端到端(End-to-End)。2014年时,Kyunghyun Cho和Sutskever先后提出一种End-to-End即所谓的端到端的模型,直接对输入输出建立联系,前者将其模型命名为Encoder-Decoder模型,后者则将其命名为Sequence-to-Sequence模型。

25a638577445c527e240670da9497fd7.png

其基本思想是利用神经网络实现自然语言的映射,核心的问题是建立条件概率模型如下左图所示,其中yn表示当前目标语言词,x表示源语言句子,y

3eca591adad8ef0c11c6ce44e8c0c943.png

465d3fdb8a4edcb8da794ebe53035143.png

LSTM 是很常见Encoder-Decoder模型,其引入解决了长距离重新排序问题,同时将 NMT 的主要难题变成了固定长度向量(fixed-length vector)问题,不管源句子的长度几何,这个神经网络都需要将其压缩成一个固定长度的向量,这会在解码过程中带来更大的复杂性和不确定性,尤其是当源句子很长时 。后面的词向量都会保存前面词向量的信息。

c7bfee49b94e88f6ae6b43e349a46936.png

原文:https://www.cnblogs.com/yunkaiL/p/11040687.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值