RNN——刻画一个序列当前的输出与之前信息的关系。
RNN能够记忆之前的信息,利用之前的信息影响后面结点的输出。
RNN的隐藏层之间的结点有连接,隐藏层的输入包括输入层的输出、上一时刻该层本身的输出。
RNN中有一个很重要的概念——时刻
RNN结构示意图:
从图中我们可以看到,对于每一个时刻的输入Xt结合当前模型的状态A,RNN均给出一个输出ht。
RNN可以被展开如下形式:
RNN要求每个时刻都有一个输入,但不一定需要输出
RNN以被广泛用于语音识别、语言模型、机器翻译
被复制多次的结构叫循环体,我们要做的事情就是——设计循环体的网络结构
RNN的循环体网络结构中的参数在不同时刻是共享的!!!
一个单层全连接神经网络作为循环体的RNN结构图如下所示:
对这个RNN来说,循环体的输入为上一时刻的状态,另一部分为输入样本(单词向量);这个RNN 输出为下一时刻的状态和提供给当前时刻的输出。