深度学习（四）————机器翻译及相关技术、注意力机制与Seq2seq模型、Transformer

目录

 

机器翻译及相关技术

注意力机制与seq2seq模型

Transformer

---

机器翻译及相关技术

机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。

机器翻译流程：数据预处理，主要模型：encode-decode,seq2seq

注意力机制与seq2seq模型

注意力机制：https://blog.csdn.net/mpk_no1/article/details/72862348?utm_source=distribute.pc_relevant.none-task

seq2seq https://www.jianshu.com/p/b2b95f945a98

Transformer

在之前的章节中，我们已经介绍了主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）。让我们进行一些回顾：

• CNNs