2024年最新循环神经网络，GitHub已标星16k

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取

w

x

h

w_{xh}

wxh​、

w

h

h

w_{hh}

whh​、

w

h

y

w_{hy}

why​和两个偏置项

b

h

bh

bh、

b

y

by

by 自始至终都是固定不变的。在反向传播时，三个参数矩阵和两个偏置项由梯度下降法更新。

1.3 循环核按时间步展开

将循环核按时间步展开，就是把循环核按照时间轴方向展开，可以得到如下图的形式。每个时刻记忆体状态信息

h

t

h_t

ht​被刷新，记忆体周围的参数矩阵和两个偏置项是固定不变的，我们训练优化的就是这些参数矩阵。训练完成后，使用效果最好的参数矩阵执行前向传播，然后输出预测结果。

其实这和我们人类的预测是一致的：我们脑中的记忆体每个时刻都根据当前的输入而更新；当前的预测推理是根据我们以往的知识积累用固化下来的“参数矩阵”进行的推理判断。
可以看出，循环神经网络就是借助循环核实现时间特征提取后把提取到的信
息送入全连接网络，从而实现连续数据的预测。

1.4 循环计算层：向输出方向生长

在RNN中，每个循环核构成一层循环计算层，循环计算层的层数是向输出方向增长的。如下图所示，左图的网络有一个循环核，构成了一层循环计算层；中图的网络有两个循环核，构成了两层循环计算层；右图的网络有三个循环核，构成了三层循环计算层。其中，三个网络中每个循环核中记忆体的个数可以根据我们的需求任意指定。