论文笔记:Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

本文介绍了一种使用RNN Encoder-Decoder进行统计机器翻译的方法,重点在于改进的隐藏节点——GRU。GRU简化了LSTM的结构,通过reset和update门控制信息流,增强模型的记忆能力。研究中,GRU在解决NLP问题,尤其是机器翻译任务上表现出色,同时通过优化避免了仅依赖词频评分的问题。
摘要由CSDN通过智能技术生成

Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation


这篇论文是为解决natural language processing (NLP)领域的问题。 应用RNN encoder-decoder技术进行静态机器翻译(英语–>法语 -_-,作为中国人,我总以为会转换成汉语,然而非也)。 encoder and decoder分别为一个RNN结构,encoder可以将不定长序列转换成定长序列,decoder的作用与之相反。此外,使用了隐藏节点来增强记忆功能,使训练更加容易。本文创新点主要就在隐藏节点上,是对LSTM进行的改进,运算速度更快。该方法能够很好地获取语义规则,保护语义和语法结构。

看图就能总体上明白这篇文章要讲的是什么。
这里写图片描述

主要训练过程,连接这两个RNN,使最大似然函数取最大值。这个是可微分的模型,可以使用梯度下降来训练。这里讲的比较笼统,中间过程略去,只说会得到中间状态 ht−<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值