算法面试之seq2seq、attention、beam search

1.概述

seq2seq属于encoder-decoder结构的一种
基本思想就是利用两个RNN，一个RNN作为encoder，另一个RNN作为decoder。
·encoder负责将输入序列压缩成指定长度的向量，这个向量就可以看成是这个序列的语义，这个过程称为编码。
获取语义向量最简单的方式就是直接将最后一个输入的隐状态作为语义向量C。
也可以对最后一个隐含状态做一个变换得到语义向量
还可以将输入序列的所有隐含状态做一个变换得到语义变量。attention

·而decoder则负责根据语义向量生成指定的序列，这个过程也称为解码，最简单的方式是将encoder得到的语义变量作为初始状态输入到decoder的RNN中，得到输出序列。可以看到上一时刻的输出会作为当前时刻的输入，而且其中语义向量C只作为初始状态参与运算，后面的运算都与语义向量C无关。decoder处理方式还有另外一种，就是语义向量C参与了序列所有时刻的运算，上一时刻的输出仍然作为当前时刻的输入，但语义向量C会参与所有时刻的运算。

2.seq-seq的翻译机制和语言模型的区别