Sequence to Sequence Learning with Neural Networks阅读笔记

    研究目的：DNNs需要输入、输出维度是已知和固定的。而语音识别、机器翻译、问答系统等序列到序列问题的序列长度是未知的。

    研究内容：基于LSTM的encoder-decoder结构来解决序列到序列问题。RNN不能处理长时间依赖问题，而LSTM能学习序列的长距离时间依赖，而序列到序列问题在输入和相关的输出之间有相当大的时间滞后，所以采用LSTM结构。当输入、输出不等长时，RNN也没有用，所以使用encoder-decoder结构，encoder将输入序列编码成固定维度的向量，然后decoder从该固定的向量中解码出相应的输出向量。