Sequence to Sequence Learning with Neural Networks
Abstract:DNN可以在有大量标记训练集下表现很好,但是无法处理用于序列映射到序列。在本文中,我们提出了一种端到端的序列训练方法,可以对序列结构做最小的假设。我们的方法使用了多层LSTM将输入序列映射成一个固定维度的向量,然后用另一个深度LSTM从向量中解码出目标序列。
1 Introduction
1)DNN功能强大:DNN在语音识别和视觉目标检测等困难领域都有很好的表现。DNN功能强大,可以执行任意数量的并行计算。只要有足够的标记训练集来指定网络参数,就可以用监督反向传播来训练大型DNN。因此,如果存在一个参数设置能使大型DNN网络能获得良好结果,那么监督反向传播将找到这些参数并解决这个问题
2)DNN'只能用于输入和输出可以用固定维度进行编码的问题:这是一个重要的限制,因为很多重要问题最好用一些未知长度的序列表示。比如语音识别和机器翻译是顺序问题。问答系统也类似。
3)本文使用一种LSTM的结构来解决一般的seq到seq的问题:一个LSTM用来读取输入序列,一次一个时间步,用来获得大的固定维度向量表示;另一个LSTM从向量中提取输出序列。第二个LSTM实质上是循环神经网络模型,只是它的输入序列是有条件的。
4)为解决一般的seq到seq的问题,已有很多相关的尝试:略