sequence2sequence 论文笔记

sequence2sequence 论文总结
问题：对于DNN(Deep neural network )来说，其需要输入和输出的维度是已知的并且是固定的.但是对于序列问题，常常是长度不固定的，因此传统DNN结构是不可用的.

在本篇文章中直接使用LSTM网络结构来解决这个问题，基本想法就是使用一个LSTM结构来处理输入，由于输入是序列，处理的时候是按序列时间步来处理的，经过处理后得到一个固定维度的向量，最后使用另一个LSTM结构来对输出的固定长度的向量进行处理得到最终输出向量，此时输出向量长度是可变的。具体我们看图：
可以看见第一个LSTM结构对输入序列ABC进行处理，每次处理一个时间步，然后得到固定长度向量W。然后第二个LSTM结构将W作为第一个时间步输入，得到输出X，然后将X作为第二个时间步输入，得到Y，以此我们就可以得到输出XYZ，可以看到输出是可以任意长度的。

为甚么输出可以任意长度？

首先第一点：第一个LSTM结构中没有使用每个时间步的输出，而只使用了最后一个时间步输出 .
第二点:LSTM是循环神经网络一种，第二个LSTM结构将上一个时刻输出作为当前输入，这样就可以不断循环下去。

为甚么可以这样是这样编码解码的结构？不怕信息丢失？

注意第二个LSTM结构不尽以W作为输入，而且还继承了前一个LSTM的隐层状态，而LSTM的三道门结构可以保证时序信息的整合，因此这样的结构是可行得.

注意文章中还提到：最终我们发现在原句中逆转单词顺序，会取得明显的提升，因为这样做会在源语句和目标句子之间引入许多短期依赖关系，这使得优化问题更容易。

The model

RNN对时序的处理是这样的：
给定一个序列输入$(x_1,x_2,...,x_T)$,那么我们可以通过一个RNN结构得到一个序列输出$(y_1,y_2,....,y_T)$，通过训环执行下面式子:$$h_t=sigm(W^{hx}{x}_t+W^{hh}{h}_{t-1})$$ $$y_t=W^{yh}{h}_t$$
这里我们就成$h_t$是RNN在t时刻的隐藏状态，可以看见 这样的去处理序列结构的化输入输出都必须是相同长度的，这样就不能对应变长的输出（自然语言处理问题基本上输入输出序列长度是不同的），一个简单的解决就是前面提到的两点：首先第一点，第一个LSTM结构中没有使用每个时间步的输出，而只使用了最后一个时间步输出(隐层状态) .第二点，LSTM是循环神经网络一种，第二个LSTM结构将上一个时刻输出作为当前输入，这样就可以不断循环下去得到不同长度的输出。

用概率学来解释：
整个LSTM结构是为了去估计条件概率$$p(y_1,y_2,..,y_{T{}^{\prime }}|x_1,x_2,..,x_T)$$,这里$T$不一定等于$T{}^{\prime }$。过程是这样，首先第一个LSTM层将输入$x_1,x_2,..,x_T$处理为一个固定长度向量$v$，然后在第二个LSTM中进行标准的循环网络计算，第二个LSTM结构以上一个LSTM的最后输出(隐层状态)作为第一个时间步输入，并且继承上一个LSTM的隐层状态$v$,也就是用$v$初始化自己的隐层状态.所以有：
$$p(y_1,y_2,..,y_{T{}^{\prime }}|x_1,x_2,..,x_T)=\prod _{t=1}^{T{}^{\prime }}p(y_t|v,y_1,y_2,..,x_{t-1})$$

倒置输入

比如我们学习$a,b,c$到$\alpha ,\beta ,\gamma$的映射，那么输入时按$c,b,a$的顺序输入，通过这种方式，使$a$和$\alpha$靠的更近，$b$和$\beta$靠的更近.