深度学习_深度学习模型延时-CSDN博客

循环神经网络的来源是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面结点的输出。即：循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。

循环神经网络对于每一个时刻的输入结合当前模型的状态给出一个输出。循环神经网络可以看做同一神经网络被无限复制的结果，出于优化考虑，现实生活中无法做到真正的无限循环。

双向循环神经网络（Bidirectional RNN）：

在经典的循环神经网络中，状态的传输时从前往后单向传的，然而有些问题中，当前时刻的输出不仅和之前的状态有关，也与之后的状态有关，这就需要使用双向循环神经网络（Bidirectional RNN）解决此问题。

双向循环神经网络是由两个单向循环神经网络上下叠加在一起组成的，输出由这两个循环神经网络的状态共同决定。

在每一个时刻t，输入会同时提供给这两个方向相反的循环神经网络，而输出则是由两个单向循环神经网络共同决定。

深层循环神经网络（deepRNN）：

为了增强模型的表达能力，可以将每一时刻上的循环体重复多次。深层循环神经网络在每一时刻上将循环体结构复制了多次。每一层循环体中参数是一致的，而不同层中的参数可以不同。

循环神经网络结构与文本损失函数

四、长短记忆网络（LSTM）

LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。