Sequence-to-Sequence Model (Seq2Seq)

Sequence-to-Sequence Model (Seq2Seq)

用Seq2Seq实现机器翻译：多对多问题
机器翻译数据Machine Translation Data
http://www.manythings.org/anki/

数据处理：大小写，拼写错误等（数据预处理）->tokenization（它可以是char-level也可以是word-level的 ）->建立两个字典（一个英语一个德语的，因为每种语言使用的字母个数或者词语构造不一样）

英语->德语：

Seq2Seq Model

一个编码器encoder，一个解码器decoder
encoder的最终输出是最后的状态h和传输带c
decoder的初始状态是encoder的最终输出
预测p，p作为标签
计算损失函数loss，反向传播更新模型参数
如下图，当前的标签是‘m’

不断重复上述过程，直到输出终止符

每一轮的状态h，c都会更新
decoder的输出是每个字符的概率值