深入理解Seq2seq模型（Sequence2sequence）

白马负金羁

已于 2022-07-27 05:32:26 修改

阅读量1.3k

点赞数

分类专栏：自然语言处理信息检索文章标签：机器翻译 NMT NLP seq2seq LSTM

于 2021-07-21 11:05:43 首次发布

本文链接：https://blog.csdn.net/baimafujinji/article/details/118352258

版权

自然语言处理信息检索专栏收录该内容

35 篇文章 1348 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了神经机器翻译（NMT）的关键技术——Sequence2sequence（Seq2seq）模型，探讨了其在机器翻译中的应用。Seq2seq模型基于RNN/LSTM/GRU，通过Encoder和Decoder处理句子，其中Encoder压缩信息，Decoder恢复成翻译后的句子。为了改进长句子的处理，可以使用双向LSTM（Bi-LSTM）和Attention机制。当前最先进的NMT方法已经转向使用Transformer。

摘要由CSDN通过智能技术生成

机器翻译（Machine Translation）是NLP领域中一个重点研究的话题。早期有代表性的工作包括IBM模型（１～６），这一系列方法都属于是统计机器翻译（statistical machine translation）的范畴。本博客之前的文章曾经介绍过IBM1模型（参考【1】），其它的还可以进一步参考【２】（可以注意到IBM6模型是以HMM为基础的）。

随着深度学习或者神经网络的发展，现在神经机器翻译（Neural machine translation）已经成为机器翻译领域中最流行的方法。要了解神经机器翻译，Sequence2sequence模型（简称Seq2seq）是第一步。

欢迎关注白马负金羁的博客白马负金羁的博客，为保证公式、图表得以正确显示，强烈建议你从该地址上查看原版博文。本博客主要关注方向包括：数字图像处理、算法设计与分析、数据结构、机器学习、数据挖掘、统计分析方法、自然语言处理。

Seq2seq模型是以RNN/LSTM/GRU这类模型为基础实现的，如果你对此还不是很了解，请参考【3】。RNN这种结构非常适合处理人类语言中的“句子”，例如【4】。在Se