RNN学习

RNN

RNN是一类具有短期记忆能力的神经网络。在该神经网络中，神经元不仅可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。

网络结构

RNN正向传播

RNN目的是用来处理序列数据。RNN当前的输出于之前的输出也有关，隐藏层之间的节点相互之间时存在连接的。模型结构如下：

 

权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

RNN网络的神经元：

 

RNN方向传播

 

由这张图可得：

 

需要更新的参数为W、U、V

RNN引入了隐状态h的概念，隐状态h可以对序列形的数据提取特征，再转换为输出

 

h2的计算与h1类似，注意两点：

1. 计算时每一步使用的参数U、W、b是一样的，每个步骤的参数是共享的。
2. RNN的权值是再一个向量中，只是时刻不同。
3. 

 

依次计算：

得到输出值：

 

依次输出：

 

输入与输出序列是等长的

总结于这两篇文章，感谢作者分享：

RNN（循环神经网络）详解_淋雨的小蚂蚁的博客-CSDN博客_rnn神经网络模型

(1条消息) 如何从RNN起步，一步一步通俗理解LSTM_v_JULY_v的博客-CSDN博客_lstm比rnn多了哪个模块