RNN及其公式推导

最新推荐文章于 2025-05-12 11:28:23 发布
最新推荐文章于 2025-05-12 11:28:23 发布
阅读量1.2w 收藏 29
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ustbfym/article/details/77970030
本文详细介绍了循环神经网络（RNN）的基本结构和公式推导，包括前向算法和反向传播算法（BPTT）的关键步骤。通过分析RNN的隐藏层和输出层之间的关系，以及误差项和权重更新的计算，帮助读者深入理解RNN的工作原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RNN及其公式推导

RNN即循环神经网络，循环神经网络的种类有很多，本文主要是对基本的神经网络进行推导。一开始对推导很晕，在阅读了许多资料之后，整理如下。

结构

这里写图片描述

上图所示的是最基本的循环神经网络，但是这个图是抽象派的，只画了一个圈不代表只有一个隐层。如果把循环去掉，每一个都是一个全连接神经网络。 x 是一个向量，它表示输入层， s 也是一个向量，它表示隐藏层，这里需要注意，一层是有多个节点，节点数与 s 的维度相同。 U 是输入层到隐藏层的权重矩阵，与全连接网络的权重矩阵相同， o 也是一个向量，它表示输出层， V 是隐藏层到输出层的权重矩阵。

公式推导

这里写图片描述

　　RNN的BPTT算法关键就在于理解上图。前向算法很好理解，根据RNN的结构定义则很容易推出，下面是后向算法的推导。它的基本原理和BP算法一样的，同样包含了三个步骤:
　　1. 前向计算每个神经元的输出值
　　2. 方向计算每个神经元的误差项 δj ，它的误差项是指误差函数 E 对神经元 j 的加权输入的偏导数，如上图所示(下文将 atj 记作 nettj )
　　3.计算每个权重的梯度，然后用优化算法更新

　　误差项计算
　　
让我们回到第一张图的表示方法，用向量

最低0.47元/天 解锁文章
RNN与其反向传播算法——BPTT(Backward Propogation Through Time)的详细推导
qq_42734797的博客
12-20 2517
RNN及其变种是永恒的经典，有必要认真学习。遂推导了一下RNN的反向传播算法(BPTT)，记录在此。
RNN 公式及其推导
czw's blog
04-22 3982
通过时间反向传播 从 t=1t=1t=1 到 t=τt=τt=\tau 应用如下更新方程: a(t)=b+Wh(t−1)+Ux(t)a(t)=b+Wh(t−1)+Ux(t)a^{(t)} = b + Wh^{(t-1)} + Ux^{(t)} h(t)=tanh(a(t))h(t)=tanh(a(t))h^{(t)} = tanh(a^{(t)}) o(t)=c+Vh(t)o(t...
RNN（循环神经网络）原理与结构
最新发布
m0_56699208的博客
05-12 1033
循环神经网络（RNN）是一种用于处理序列数据的深度学习模型，能够通过隐藏状态传递历史信息，捕捉序列中的时间依赖关系。其核心计算流程包括隐藏状态和输出的更新，训练时通过反向传播通过时间（BPTT）算法计算梯度。然而，基础RNN在处理长序列时容易出现梯度消失或爆炸问题，为此提出了LSTM和GRU等改进结构，通过门控机制有效缓解长期依赖问题。序列到序列（Seq2Seq）模型则进一步扩展了RNN的应用，通过编码器和解码器结构实现输入序列到输出序列的映射，并引入注意力机制提升性能。实际案例中，Seq2Seq模型可用于
RNN公式详细推导（结合广为流传的八位二进制加法代码）与代码详解
qq_42842462的博客
03-23 2534
最近在查找RNN的公式详解中，发现大多数的公式都是一通链式求导结束，与网络上广为流传的八位二进制代码的计算过程完全不符，经过研究推导，觉得有必要给后来的同学推导一下代码中的计算过程。（代码附在文后） 先上图， RNN的结构图都是这样，按时间展开，S是隐藏层和输出层的激活函数，这里用Sigmoid，求导比较特殊，W是权重角标表示走向，O是输出层，I是输入层，H是隐藏层，a是单元的输入，b是单元的输出，上下角标是层和时间序列，x是输入层的输入，这里方便，就不给单元设置阈值了，有的代码里会有一个阈..
循环神经网络（一般RNN）推导
TonLP的博客
12-26 1万+
本文章的例子来自于WILDMLvanillaRNN是相比于LSTMs和GRUs简单的循环神经网络，可以说是最简单的RNN。RNN结构RNN的一个特点是所有的隐层共享参数(U,V,W)(U, V, W)，整个网络只用这一套参数。RNN前向传导st=tanh(Uxt+Wst−1)s_t=tanh(Ux_t+Ws_{t-1}) ot=softmax(Vst)o_t=softmax(Vs_t)sts_t为
3.RNN推导
weixin_34163741的博客
04-01 247
1.基本RNN结构 　这几天想入门NLP，所以开始了解RNN以及一系列变体。首先RNN最原始的结构如下图（图是按自己的理解用visio画的，有错麻烦提一下）， 　　 首先我们来说明一下各个符号的定义： 各个变量之间的关系如下： 2.RNN推导 其实，在RNN中，框架并不大，整体的参数只有W和b，因为这些参数是共用的。下面说一下RNN的loss函数...
RNN(Recurrent Neural Networks)公式推导和实现
weixin_34302561的博客
01-08 259
RNN(Recurrent Neural Networks)公式推导和实现 http://x-algo.cn/index.php/2016/04/25/rnn-recurrent-neural-networks-derivation-and-implementation/ 2016-04-25 分类：Deep Learning / NLP / RNN 阅读(6997) 评论(7)  本文主要参考w...
RNN及其简单Python代码示例
热门推荐
u011649885的专栏
07-12 2万+
什么是递归神经网络？ 不同于传统的前向反馈神经网络，RNN引入了定向循环，能够理解那些输入之间前后关联的问题。 RNN的目的是用来处理序列数据。在传统的神经网络模型中，是从输入层到隐藏层再到输出层，层与层之间是全连接的，同一层间的神经元之间无连接。 这种普通的神经网络对于很多问题都无能为力。 例如你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。R
深度学习基础篇之循环神经网络（RNN）
Fluentwater的博客
06-10 587
前面我们讲了DNN，以及DNN的特例CNN的模型及其前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联。今天我们就讨论另一类模型间有反馈的神经网络：循环神经网络（Recurrent Neural Networks，以下简称RNN），它广泛的用于自然语言处理中的语音识别、手写识别及机器翻译等。
循环神经网络RNN公式推导
香龙
11-02 902
让我们假定类别的大小C=5C=5C=5，隐藏层的大小为H=4H=4H=4，则有： x(t)∈R5×1s(t)∈R4×4U(t)∈R4×5V(t)∈R5×4W(t)∈R4×4o(t)∈R5×1y(t)∈R5×1x^{(t)} \in R^{5 \times 1} \quad s^{(t)} \in R^{4 \times 4} \quad U^{(t)} \in R^{4 \times 5}...
RNN模型计算公式
IT_Gao_S的博客
12-29 1814
RNN 定义模型 ht是上一层传过来的隐藏层,x是特征矩阵，w为正太分布矩阵均值为零方差为0.01h_t是上一层传过来的隐藏层, x是特征矩阵，w为正太分布矩阵 均值为零方差为0.01ht​是上一层传过来的隐藏层,x是特征矩阵，w为正太分布矩阵均值为零方差为0.01 ht=Whxxt+Whhht−1h_t=W_{hx}x_t+W_{hh}h_{t-1}ht​=Whx​xt​+Whh​ht−1​ ot=WqhHto_t=W_{qh}H_tot​=Wqh​Ht​ 如何实现模型结构 one-hot 有其他更简单
RNN算法推导过程及代码.zip
08-17
对循环神经网络的简单认识及一些主要数学过程的推导的文档和应用matlab代码编写一个简单的循环神经网络进行预测的一个matlab程序。
标准RNN的推导
weixin_42421001的博客
08-12 3728
1.RNN前向计算：对于如下结构，x是输入，s为隐层，o为输出，U,W,V为不同层的权值，同一类型的权连接权值相同 则ot可表示为 其中，g,f为输出层，隐层的激活函数，f一般选择tanh函数，若RNN用于分类的话，g选择softmax函数 2.RNN反向传播：BPTT算法，本质还是BP算法，因为RNN处理序列数据，所以在原有基础上增加了序列维度反向传播。BPTT的中心思想与BP算法...
RNN循环神经网络公式总结
谢彦的技术博客
06-23 3414
RNN网络 RNN模型计算分为两步，第一步，计算第ｔ个时间步的隐藏层ａ；第二步，计算t步的预测值ｙ。 其中Wax和Waa两组参数分别与前一层的激活a和当前数据x结合，也可将其合二为一，并与x和a的连接计算。 在RNN网络中最常用激活函数是tanh，有时也用ReLU，一般只在最后一层使用sigmoid或softmax。 LSTM网络 相对于基础的RNN，LSTM增加了c（Cell）状态单元，可将其看做在计算激活a的过程中保存的当前状态。它与a都在工作过程中一直向下一步传递。 公式中的Γ
RNN原理及公式
ywm_up
11-12 1821
直接看这个博客吧，写得很好 一、循环神经网络（RNN）原理通俗解释 在图像处理中，目前做的最好的是CNN 自然语言处理中，表现比较好的是RNN 既然我们已经有了人工神经网络和卷积神经网络，为什么还要循环神经网络？ 原因很简单，无论是卷积神经网络，还是人工神经网络，他们的前提假设都是：元素之间是相互独立的，输入与输出也是独立的 循环神经网络，他的本质是：像人一样拥有记忆的能力。因此，他的输出就依赖于当前的输入和记忆。 RNN结构： RNN中的结构细节： 可以把 StS_tSt​ 当作隐状态，
【DL】详解RNN（附数学推导＋变式）
ｋ的博客
03-04 4961
还在看数学公式学习了解RNN？out了吧！ 神经网络基础 神经网络可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y，结构图如下： 将神经网络模型训练好之后，在输入层给定一个x，通过网络之后就能够在输出层得到特定的y，那么既然有了这么强大的模型，为什么还需要RNN（循环神经网络）呢？ 为什么需要RNN（循环神经网络） 他们都只能单独的取处理一个个的输入，前一个输...
RNN求导公式详细推导
一个幽灵
09-05 1273
本菜鸡觉得RNN求导公式太复杂了, 所以想了一个办法拆分求导的公式. 那就是用语法树. 原文参见RNN反向求导详解_格物致知-CSDN博客 ot=φ(Vst)=φ(Vϕ(Wst−1+Uxt))Lt=loss(ot,yt) \begin{aligned} o_t&=\varphi(Vs_t)=\varphi(V\phi(Ws_{t-1}+Ux_t))\\ L_t&=\text{loss}(o_t,y_t) \end{aligned} ot​Lt​​=φ(Vst​)=φ(Vϕ(Wst−1​+
RNN理论推导
Pbw_666的博客
05-26 462
  RNN内容整理 RNN简介   RNN：循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。 RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包
rnn 数学推导
luoganttcc的博客
09-27 527
链接
lstm 公式数学推导
04-26
### LSTM 数学公式推导过程 LSTM（长短期记忆网络）的核心在于其独特的门控机制以及细胞状态的设计，这些特性使其能够在长时间序列中有效传递梯度并缓解梯度消失问题。以下是关于LSTM数学公式的详细推导及其核心概念。 #### 1. 前向传播公式 LSTM 的前向传播主要由以下几个部分组成： - **遗忘门 (Forget Gate)** 遗忘门决定了当前时刻的细胞状态需要忘记多少过去的信息。计算如下： \[ f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \] 其中 \( W_f \) 和 \( b_f \) 是遗忘门的权重矩阵和偏置项，\( h_{t-1} \) 表示上一时刻隐藏状态，\( x_t \) 表示当前输入[^2]。 - **输入门 (Input Gate)** 输入门决定哪些新信息会被写入到细胞状态中。分为两部分：输入门本身和候选值。 \[ i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i), \quad \tilde{C}_t = tanh(W_c \cdot [h_{t-1}, x_t] + b_c) \] 其中 \( W_i, b_i \) 控制输入门，而 \( W_c, b_c \) 则用于生成新的候选值 \( \tilde{C}_t \)[^2]。 - **细胞状态更新 (Cell State Update)** 细胞状态通过遗忘旧信息并与新信息相结合的方式进行更新： \[ C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t \] 这里使用逐元素乘法 (\(\odot\)) 来实现对信息的选择性保留或丢弃[^2]。 - **输出门 (Output Gate)** 输出门控制当前时刻的隐藏状态如何被输出： \[ o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o), \quad h_t = o_t \odot tanh(C_t) \] 以上即为LSTM的标准前向传播公式[^4]。 --- #### 2. 反向传播公式 为了优化参数，在反向传播过程中需计算损失函数相对于各参数的梯度。具体步骤如下所示： - 定义误差信号： 设总损失函数为 \( J \)，则对于任意时间步 \( t \)，有： \[ \frac{\partial J}{\partial h_t} \] - 计算针对不同组件的梯度： 对于每个门及细胞状态的变化量分别求解对应的梯度表达式。例如，考虑遗忘门的影响时可得： \[ \frac{\partial J}{\partial f_t} = \frac{\partial J}{\partial C_t} \odot C_{t-1} \][^3] 进一步展开其他各项梯度关系直至最终得到所有待估计参数上的梯度为止。 --- #### 3. 缓解梯度消失的关键点 LSTM 能够缓解传统 RNN 中存在的梯度消失现象主要是依赖于以下两点设计思路: - 使用恒定错误流路径(constant error carousel): 即使经过多个时间步长传输后仍能保持较大数值大小而不趋于零; - 引入可控开关结构允许特定条件下完全关闭某些连接从而阻止不必要的衰减效应发生.[^1] --- ```python import numpy as np def lstm_cell_forward(xt, a_prev, c_prev, parameters): """ 实现单个LSTM单元的前向传播 参数: xt -- 当前时间步的输入数据 (n_x,) ... 返回: at_next -- 下一个隐藏状态 (n_a,) ct_next -- 更新后的细胞状态 (n_a,) cache -- 存储反向传播所需的数据元组 """ # 提取参数... ft = sigmoid(np.dot(parameters['Wf'], concat_input.T) + parameters['bf'])[:, None].T it = sigmoid(np.dot(parameters['Wi'], concat_input.T) + parameters['bi'])[:, None].T cctilde = np.tanh(np.dot(parameters['Wc'], concat_input.T) + parameters['bc'])[:, None].T ot = sigmoid(np.dot(parameters['Wo'], concat_input.T) + parameters['bo'])[:, None].T c_next = ft * c_prev + it * cctilde a_next = ot * np.tanh(c_next) cache = (a_next, c_next, a_prev, c_prev, ft, it, cctilde, ot, xt, parameters) return a_next, c_next, cache def lstm_backward(da, caches): # 初始化变量... for t in reversed(range(len(caches))): current_cache = caches[t] gradients = one_step_lstm_backward(da[:, :, t], dc_prev_temp, current_cache) da_prev += gradients["da_prev"] dc_prev += gradients["dc_prev"] dx = gradients["dx"] dWf = gradients["dWf"] ... return gradients ``` ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值