NLP中的Seq2Seq与attention注意力机制

RNN循环神经网络

RNN循环神经网络被广泛应用于自然语言处理中，对于处理序列数据有很好的效果，常见的序列数据有文本、语音等，至于为什么要用到循环神经网络而不是传统的神经网络，我们在这里举一个例子。

假如有一个智能订票系统，我只需要输入一句话，该系统能识别出我将在什么时间订购去哪里的车票。那么程序需要根据我们输入的文本识别出我们出发的时间，目的地以及始发地。

如:我一月一号去郑州。

那么“一月一号”是时间，“郑州”是目的地，“我”和“去”都是其他不需要提取的信息，我们统一归为其他类。

那么假如我输入另外一个句子:

我一月一号离开郑州

此时“一月一号”是时间，“郑州”就变成了始发地，“我”和“离开”都是其他。

针对这个例子，我输入不同的文本，郑州表示为不同的label,用前馈神经网络去做的话，就不能将两个不同语境下的“郑州”区分开，所以这时我们需要我们的神经网络具有记忆功能，即，当在看到第一个文本中的“郑州”的时候，神经网络已经存储了“去”这个词的信息。当在看到第二个文本中的“郑州”的时候就已经存储了“离开”这个词的信息，因为“去”和“离开”两个词的信息不同，故就可以将两个文本中的“郑州”区分开。

下面我们根据这个例子去了解循环神经网络的结构

对于一个文本的每一个词可以看做是一个时序。RNN的每一个时序是一个前馈神经网络，但是为了在每一个时刻都包含前边时序的信息，所以RNN的每个时序共享了隐