2023-07-31循环神经网络（RNN）结构原理和参数详解

循环神经网络（RNN）原理和使用说明（基于python）

一、RNN网络的原理

1. 为什么出现了RNN

传统的神经网络如卷积神经网络（CNN）处理的数据样本之间是独立的，对于前后有联系的数据无法捕捉其在空间和时间上的联系，所以RNN的出现就解决这样的问题，譬如视频流的处理，时间序列的预测，机器翻译，音频信号的处理等

2. RNN结构原理详解（以单向没有stack的结构为例）

图 1. RNN模型的结构
其中：
xt 代表当前时刻t的样本输入（N维特征）
ht 代表当前时刻t的隐藏状态（隐藏状态下的神经元个数hide_size）
ot 代表当前时刻t的模型输出
Lt 代表当前时刻t的模型损失函数
yt 代表当前时刻的样本标签输出
U, V, W 代表模型参数，在RNN整个网络中是权值共享
模型的表达式：
t时刻的隐藏状态（f是激活函数）：

t时刻的输出：

t时刻的预测输出（二分类用sigma，多分类softmax，回归linear）：

t时刻的损失函数（此时用回归的损失函数做一个说明）：

RNN模型的整体损失函数：

RNN网络中一个记忆cell的计算包含了上一个状态的历史cell内容，同时也包含了当前时刻输入的样本特征信息，输出则只与当前状态记忆cell的内容有关

注意：
此外我理解的是输入xt以及上一时刻的ht-1与当前时刻的ht以及当前时刻的输出ot是由全连接层来实现的，具体结构如下图2所示（如果有误，还请各位大佬指点）：
图2. RNN cell与输入输出的结构图

3. 双向RNN

双向RNN的典型结构如下图3所示：

图3. 双向RNN的典型结构
对于t时刻：
正向运算：

反向运算：

输出：


注意：正向和反向的权重不共享

4. stack结构的RNN

多层组合的RNN结构如下图4所示（这里以两层RNN为例展示）：

图4. 深度循环神经网络RNN（2层）
对于t时刻：



其中i代表第i层

二、RNN网络中的维度说明

pytorch中的RNN模型各项参数解释如下：
pytorch手册：https://pytorch.org/docs/stable/generated/torch.nn.RNN.html#torch.nn.RNN



举一个小例子来说明RNN各个参数的维度信息

假设现在有一组是否下雨的时序数据样本，长度为M，每天的参数有温度、湿度、气压，降水概率，紫外线指数，我们的工作是需要实时预测未来一天是否要降雨？

假设我们用前三天的数据来预测第四天是否降雨，可以将样本数据划分为如下：
X = {{x1, x2, x3, y4}, {x2, x3, x4, y5}, {x3, x4, x5, y6}, …}
X为样本集，样本量为M-2，y是是否下雨的标签，其中：
x = [温度，湿度，气压，降水概率，紫外线指数]
所以参数设置如下：
input_size = 5（指一天中的所收集的特征维度，如温度等）
hidden_size = n（自定义，类似卷积中的神经元个数）
num_layers = 1 （此处做一个示范说明，就直接使用未stack的模型，所以设置为1）
bidrectional = false（非双向）
seq_len = 3

参考链接

1. https://zhuanlan.zhihu.com/p/123211148
2. https://zhuanlan.zhihu.com/p/623180667
3. https://blog.csdn.net/dss875914213/article/details/111409712
4. https://zhuanlan.zhihu.com/p/460770357
5. https://blog.csdn.net/lwgkzl/article/details/88717678
6. https://arxiv.org/pdf/1506.00019.pdf
7. https://zybuluo.com/hanbingtao/note/541458
8. https://zhuanlan.zhihu.com/p/112998607