基于attention机制的中英文机器翻译

最新推荐文章于 2022-10-22 17:22:55 发布

Cchbin

最新推荐文章于 2022-10-22 17:22:55 发布

阅读量3.9k

点赞数 6

分类专栏： nlp 文章标签：机器翻译

本文链接：https://blog.csdn.net/weixin_37763809/article/details/87976302

版权

本文介绍了基于Attention机制的中英文机器翻译，详细阐述了Sequence to Sequence网络、Attention的Decoder、整体网络结构及实现细节。通过Attention机制，翻译过程能更好地聚焦输入句子的不同部分，提高翻译效果。实验表明，改进后的Attention分布更理想，避免了无效关注，提高了翻译质量。

摘要由CSDN通过智能技术生成

前言

为了准备3月中旬的复试，今天回顾整理一下大三下学期做的机器学习课程设计，当时做的是基于attention机制的中英文机器翻译。参考的资料是pytorch官网的英法文间的机器翻译。pytorch参考链接

sequence to sequence介绍

一般的机器翻译是通过sequence to sequence network序列到序列网络的简单而强大的想法实现的，其中两个RNN递归神经网络一起工作以将一个序列转换为另一个。编码器encoder网络将输入序列压缩成矢量，解码器decoder网络将该矢量展开为新的序列。

递归神经网络（RNN）是一个网络，它按照一个序列进行操作，并将其自己的输出用作后续步骤的输入。一个输入对应一个输出的个RNN网络难以用于序列的转换学习，因为转换前后的序列长度在通常情况下是不同的，比如“一袋苹果”这样一个包含三个词汇的中文句子对应了“a bags of apples”四个词汇的英文句子。

而encoder模型把输入的序列数据转换为一个一定长度的矢量，这个矢量表示了这一个输入序列句子的整体意思。Encoder RNN模型如下图：
图1：
在得到encoder最后的隐层输出即得到输入序列数据的整体表达的矢量，将这一矢量作为decoder的第一个隐层状态，并将“SOS”(start of sequence)的编码作为d