CNN，RNN，LSTM，GRU的前后向传播算法（梯度是怎么更新的）

已于 2023-08-11 10:02:00 修改
阅读量1.5k 收藏 19
点赞数 6
分类专栏： 深度学习 Pytorch基础知识学习 文章标签： python 算法 深度学习
于 2022-07-28 10:43:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45447650/article/details/125981932
版权

目录

1.简单的梯度计算

2.进阶的梯度计算

3.CNN前向后向算法

4.RNN前向后向算法

5.LSTM前向后向算法

6.GRU前向后向算法

为什么要计算梯度？

        直观的讲，我们的网络通过y_i=\sigma (z_i)=\sigma (w_ix_i+b_i)这样的方式进行学习计算，最终输出的结果y为网络根据标签学习来的，网络的第一次前向传播相当于自学，随意学习一种概率分布，但是我们想让预测的结果更加接近“答案”，那我们就需要计算预测与标签之间差距，即loss。然后我们通过降低loss的方式改变权重（更新梯度），缩小预测结果与真实值（标签）之间的差距。

1.简单的梯度计算

先看一个简单的：

以下图的反向传播为例：假设σ为sigmoid，C为代价函数。

下图（1）式为该网络的前向传播公式。

下一个结点的输入为上一个结点输出

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Billie使劲学
关注
  • 6
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
算法实习准备之三：CNN/LSTM/GRU
for_graduation的博客
03-13 701
算法实习准备之三机器学习算法复习（六）每日leetcode 机器学习算法复习（六） 每日leetcode 题目：给你一个字符串 s，找到 s 中最长的回文子串。 解析：动态规划 class Solution(object): def longestPalindrome(self, s): n = len(s) dp = [[False] * n for _ in range(n)] ans = "" # 枚举子串的长度 l+1
深度学习课程思维导图，CNN，RNN，GRU，LSTM等模型特点应用，前沿技术和展望
09-19
本课程涵盖了一系列深度学习的关键概念和技术，包括人工神经网络、卷积神经网络（CNN）、循环神经网络（RNN），以及RNN的变体，如门控循环单元（GRU）和长短期记忆网络（LSTM）。这些模型在图像识别、语音识别和自然...
反向传播之梯度更新
TEDDY的博客
04-27 1660
关于梯度的概念 梯度是微积分中一个很重要的概念，之前提到过梯度的意义 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。 这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方
神经网络反向传播更新梯度的过程
axiaoquan的专栏
10-29 979
神经网络反向传播更新梯度的过程
前向传播、反向传播、更新梯度
Mushuroom的博客
02-17 509
反向传播与权重、偏置更新过程
反向传播梯度推导
scarlet witcher的博客
08-06 2465
1.前向传播 前向传播算法：将上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止。 对于Layer 2的输出 对于Layer 3的输出[公式]， [公式] [公式] 从上面可以看出，使用代数法一个个的表示输出比较复杂，而如果使用矩阵法则比较的简洁。将上面的例子一般化，并写成矩阵乘法的形式， [公式] [公式] 其中 [公式] 为 sigmoid 函数。 这个表示方法就很简洁、很漂亮，后面我们的讨论都会基于上面的这个矩阵法表示来。所以，应该牢牢记住我们符号的含义，否则在后面推导反
使用tensorflow实现CNN-RNN-GAN代码
08-28
在学习-tensorflow-master文件夹中，你可能找到实现CNN的代码，其中包含搭建网络结构、前向传播、反向传播和优化算法等部分。 **循环神经网络（RNN）**： RNN是一种能够处理序列数据的神经网络，因为它们具有记忆...
专249-BES-CNN-GRU-Mutilhead-Attention多变量时间序列预测
最新发布
04-27
在时间序列预测任务中，GRU 能够有效地处理序列中的长距离依赖关系，同时避免了传统 RNN (Recurrent Neural Network) 的梯度消失问题。与 CNN 结合使用时，GRU 可以进一步提升模型对时间序列数据的理解能力。 #### ...
RNN循环神经网络PPT，涉及到LSTM，GRU、BRNN、BLSTM等等介绍，适合开会用，总共有50页，干货满满
11-22
尽管RNN理论上能记住长期依赖，但在实践中，由于反向传播通过时间（BPTT）算法，长期依赖的捕获受到梯度消失或爆炸问题的困扰。这是因为激活函数如sigmoid和tanh的导数范围有限，导致在反向传播过程中梯度可能逐渐...
Python-CNNRNN以及深入学习新酷技术的实现
08-12
在深入探讨"Python-CNNRNN以及深入学习新酷技术的实现"这一主题之前，我们首先需要理解CNN（卷积神经网络）和RNN（循环神经网络）的基础知识，它们是机器学习，尤其是深度学习领域中的重要组成部分。Python作为目前...
LSTM反向传播代码实现（通过tensorflow和自编写代码实现）
08-30
通过自编写的代码实现了LSTM的反向传播，与网文《LSTM反向传播详解Part1》《LSTM反向传播详解Part2》《LSTM反向传播详解（完结篇）Part3/3代码实现》配套
深度学习之RNN、LSTM及正向反向传播原理
01-06
综述  RNN( Recurrent Neural Network 循环(递归)神经网络) 跟人的大脑记忆差不多。我们的任何决定，想法都是根据我们之前已经学到的东西产生的。RNN通过反向传播和记忆机制，能够处理任意长度的序列，在架构上比前馈神经网络更符合生物神经网络的结构，它的产生也正是为了解决这类问题而应用而生的。     RNN及改进的LSTM等深度学习模型都是基于神经网络而发展的起来的认知计算模型。从原理来看，它们都是源于认知语言学中的“顺序像似性”原理：文字符号与其上下文构成一个“像”，这个“像”可以被认为是符号与符号的组合——词汇，也可以被认为是词汇与词汇的句法关系——依存关系。算法
回馈式(RNN)神经网络中梯度更新的2个经典算法的证明和剖析
silence1214的专栏
04-14 3046
Latex写的，只好截图上来了
基于梯度的权重更新优化迭代算法
03-20 1324
有时间参数 tt 参与的一般都为迭代式的算法 gt 表示当前时刻的梯度； γ,β：常数；
第七周【任务2】门控循环单元网络GRU的前向、后向传播
weixin_39236489的博客
01-11 808
门控循环单元(GatedRecurrentUnit，GRU)网络是一种比 LSTM 网络更加简单的循环神经网络。 和 LSTM 不同，GRU 不引入额外的记忆单元，GRU 网络引入一个更新门(Up-date Gate)来控制当前状态需要从历史状态中保留多少信息(不经过非线性变换)，以及需要从候选状态中接受多少新信息。同时还有一个重置门，控制从历史状态中有多少信息被写入到当前的候选状态中，重置门的值越小，历史状态的信息被写入的越少。 前向传播 下图是GRU的结构图。 从中可以看出，有两个门，一个非线性激活函
正向传播，使用梯度(偏导数)进行权重更新的过程
qq_43194650的博客
11-28 3394
目录整个过程梳理1 只有两个数据2 踩用多批次 整个过程梳理 假设只有两层神经网络如下图： 1 只有两个数据 若只有2个数据，则 1 数据先输入神经网络，然后在第一层进行计算，计算之后采用sigmoid函数进行变换。这里将有一批权重W1和偏置b1这里注意，并不是说只有W1和b1两个数，而是说有一批W1和b1，它们对于不同的神经元节点是不同的值，初始化的时候采用符合高斯分布的随机数进行初始化 2 然后传入第二层进行计算，使用softMax进行变换，然后输出。这里和上面一样有W2和b2 3 输出之后若使用交叉
【数据挖掘】神经网络 后向传播算法 ( 梯度下降过程 | 梯度方向说明 | 梯度下降原理 | 损失函数 | 损失函数求导 | 批量梯度下降法 | 随机梯度下降法 | 小批量梯度下降法 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-28 1757
I . 梯度下降 Gradient Descent 简介 ( 梯度下降过程 | 梯度下降方向 ) II . 梯度下降 示例说明 ( 单个参数 ) III . 梯度下降 示例说明 ( 多个参数 ) IV . 梯度下降 总结 ( 定义损失函数 | 损失函数求导 ) V . 梯度下降 方法 VI . 批量梯度下降法 VII . 随机梯度下降法 VIII . 小批量梯度下降法
RNN的网络结构和参数更新方式
weixin_45885232的博客
04-11 1843
1. RNN定义 RNN是处理时序问题的重要工具。对于一个xxx，与一个UUU计算后得到一个hhh，这个hhh与VVV计算后得到输出ooo，hhh与WWW计算后的结果返回到hhh的输入，由此形成了一个循环，这就是循环神经网络； 2. RNN参数更新方式 假设一个输入序列xxx=x1,x2,...,xn{x_1,x_2,...,x_n}x1​,x2​,...,xn​，网络展开后看作一个nnn层的前馈神经网络，第ttt层对应者时刻ttt的状态。记第ttt层的输入状态、隐藏状态和输出状态分别为xtx_txt​，h
第七周【任务2】长短期记忆网络LSTM的前向、后向传播
weixin_39236489的博客
01-11 659
LSTM 通过刻意的设计来避免长期依赖问题。"记住"长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力! 之前的所有RNN都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh/sigmoid激活函数构成的隐藏层。 LSTM 同样是这样的结构，但是重复的模块拥有一个不同的结构。不同于单一神经网络层，这里是有四个门，以一种非常特殊的方式进行交互。 Traditional LSTM结构 这里我们考虑一个完整复杂的LSTM
CNN与RNN反向传播算法及比较
07-11
- CNN和RNN的反向传播算法都是基于链式法则的梯度下降算法。它们都通过计算梯度来更新网络参数，以最小化损失函数。 - CNN主要用于处理空间结构数据，如图像。它通过卷积和池化操作来提取局部特征。而RNN主要用于...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Billie使劲学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值