循环神经网络(Recurrent Neural Network,RNN)
现实生活中,我们输入的向量往往存在着前后联系,即前一个输入和后一个输入是有关联的,比如文本,语音,视频等,因此,我们需要了解深度学习中的另一类重要的神经网络,那就是循环神经网络(Recurrent Neural Network,RNN).
循环神经网络(Recurrent Neural Network,RNN)依赖于一个重要的概念:序列(Sequence),即输入的向量是一个序列,存在着前后联系。简单RNN的结构示意图如下:
RNN的结构中有自循环部分,即W所在的圆圈,这是RNN的精华所在,它展开后的结构如下:
对于t时刻的输出向量 o t o_{t} ot,它的输出不仅仅依赖于t时刻的输入向量 x t x_{t} xt,还依赖于 t − 1 t-1 t−1时刻的隐藏层向量 s t