循环神经网络以及 LSTM 及其变体

循环神经网络以及 LSTM

一、循环神经网络

1.1 RNN 简介概述

• 在前面讲到的 DNN 以及 CNN 等算法都是前向反馈的网络，即给一个输入，得到一个输出，而不考虑输入的序列间的关系，而本节我们要讨论的 RNN(Recurrent Neural Networks) 它不仅依赖于当前的输入，而且还依赖于之前的输入。
• 此外，值得注意的是，之前在 DNN 和 CNN 中，训练样本的输入和输出是确定的。但对于 RNN 所擅长的序列型，它训练样本输入是连续的序列,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的手写文字。这些序列比较长，且长度不一，很难像 DNN/CNN 那样通过将输入直接拆分成一个个独立的样本来解决。
• RNN假设我们的样本是基于序列的。比如是从序列索引1到序列索引 τ 的。对于这其中的任意序列索引号 t,它对应的输入是对应的样本序列中的