深度学习为什么用反向传播而不是正向传播？

最新推荐文章于 2024-06-13 11:28:52 发布
最新推荐文章于 2024-06-13 11:28:52 发布
阅读量1.1k 收藏 1
点赞数 4
文章标签： 神经网络 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44526168/article/details/124909607
版权

07 自动求导【动手学深度学习v2】_哔哩哔哩_bilibiliicon-default.png?t=M4ADhttps://www.bilibili.com/video/BV1KA411N7Px/?spm_id_from=trigger_reload

 

 

 对于计算复杂度来说，正向传播和反向传播都是O(n)。

但是内存复杂度来说，反向传播因为需要保留正向传播时所有的中间结果，所以需要O(n) ,这也是神经网络特别耗GPU资源（爆显存）的祸源。

正向传播内存复杂度为O(1),但每计算一个变量的梯度都要扫一遍。

反向传播从根节点向下扫，可以保证每个节点只扫一次（在计算一个变量梯度时不用管同层的其他变量）；正向传播从叶子节点向上扫，会导致上层节点可能会计算多次。

（正向中子节点比父节点先计算，因此也无法像反向那样把本节点的计算结果传给每一个子节点）

 

SinsNeverDie
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
为什么需要反向传播？
CSDN 精品推荐
08-09 1507
反向传播通过计算损失函数对于每个参数的梯度，指导神经网络中参数的更新。梯度告诉我们在当前参数值下，损失函数的变化方向，从而通过梯度下降法或其他优化算法，更新参数以最小化损失函数。总之，反向传播是神经网络训练过程中的核心算法，它使得神经网络能够适应训练数据、学习特征、解决复杂问题，并且不断迭代以提高模型性能。通过反向传播，神经网络能够从输入数据中学习出有用的表示，从而实现更准确的预测和分类。这样，每一层的神经元都可以调整自己的权重，以便更好地捕捉输入数据的特征。
反向传播算法为什么要“反向”
aoyi3705的博客
02-01 1578
反向传播算法是深度学习的最重要的基础，这篇博客不会详细介绍这个算法的原理和细节。，如果想学习反向传播算法的原理和细节请移步到这本不错的资料。这里主要讨论反向传播算法中的一个小细节：反向传播算法为什么要“反向”？ 背景 在机器学习中,很多算法最后都会转化为求一个目标损失函数（loss function）的最小值。这个损失函数往往很复杂，难以求出最值的解析表达式。而梯度下降法正是为了解决这类...
为什么反向传播更加高效
weixin_55485506的博客
02-16 2031
理解反向传播有两种方式分别是基于数学式和基于计算图（computational graph），只是理解反向传播的话使用计算图的方法更加直观，但是我认为如果想要了解为什么反向传播效率更高，采用数学式和计算图结合的方式更合适。 下面介绍一下计算图，这一部分内容来自斋藤康毅——《深度学习入门基于python的理论与实现》 我就不像书中做特别细致的介绍了，很容易的看出来这个图表示的是：100元一个的苹果经过购买2个操作后再收10%的消费税一共花费220元。稍微复杂且更通用的计算图如下图所示： ..
深度学习入门--反向传播为什么要反向
TTTTulip的博客
04-06 321
https://www.cnblogs.com/kangheng/p/10345024.html
知乎 bp算法
sentimental_dog的博客
10-23 2083
作者：匿名用户 链接：https://www.zhihu.com/question/27239198/answer/89853077 来源：知乎 著作权归作者所有，转载请联系作者获得授权。 BackPropagation算法是多层神经网络的训练中举足轻重的算法。 简单的理解，它的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。 要回答题主这个问题“如何直观的解释
机器学习（7）--深度学习介绍与反向传播
人工智能小白
08-21 563
深度学习的介绍和反向传播
反向传播的目的，及其为什么要从后向前计算梯度
weixin_42631192的博客
09-07 3031
1.反向传播的目的 目的就是计算权重、偏置等超参数的梯度，方便用优化算法更新参数时用到 2.为什么要从后向前计算梯度 避免重复计算，从而加快计算速度 参考：反向传播算法为什么要“反向” ...
深度学习之RNN、LSTM及正向反向传播原理
01-06
RNN通过反向传播和记忆机制，能够处理任意长度的序列，在架构上比前馈神经网络更符合生物神经网络的结构，它的产生也正是为了解决这类问题而应用而生的。  RNN及改进的LSTM等深度学习模型都是基于神经网络而发展的...
最大值池化层梯度反向传播1
08-03
最大值池化层梯度反向...最大值池化层梯度反向传播是深度学习中的一种重要技术，它可以帮助我们提高模型的计算效率和准确性。在本文中，我们详细介绍了最大值池化层梯度反向传播的实现过程，并提供了相应的代码实现。
深度学习入门笔记（一）
01-06
正向传播：W*X+B=y W,B为参数，X为样本值，y为预测值，Y为标签值 反向传播：根据差值标签值Y-预测值y，对W和B进行相应的调整。 循环往复进行 softmax分类算法 得出分别为y1,y2,y3的概率 tensorflow代码：tf.nn....
基于resnet网络的花卉识别 jittor深度学习框架
05-10
（3）最后根据损失反向传播梯度并更新参数；损失函数也有很多种，如均方差、交叉熵等，不同的深度学习任务需要有各自适宜的损失函数。 训练配置通常包括优化器和资源配置，优化算法用来确定参数更新的方式以及快慢...
动手深度学习1
08-03
3.10 丢弃法（Dropout）——从零开始 . 3.12 正向传播和反向传播 3.13 实战 Kaggle 赛：预测房价和 K 折交叉验证 7.12 Ada
终于明白啥是个反向传播的意义、实现
KaelCui的博客
05-01 2602
终于明白了反向传播的具体意义，以及代码实现，这位博主太厉害了 链接
深度学习基础之正向传播与反向传播
学习笔记
10-01 5835
因为这学期上了一门深度学习的课，老师上课推公式，写密密麻麻一黑板，看也看不清，讲完擦了之后说这推导如果考试必考，人都傻了，只能回过头来看她课件理解理解了。以下都是以计算图为例。
人工智能重点汇总(搜索策略、博弈、贝叶斯、SVM、神经网络、弧相容、SVM、决策树、反向传播、卷积神经网络)
CodeLuweir 的博客
05-30 4447
条件概率 条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P（A|B），读作“A在B发生的条件下发生的概率”。若只有两个事件A，B，那么， 注意和联合概率的区分：联合概率表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(A∩B)； 完备事件组、样本空间划分 把样本空间Ω分成n份，每份发生的概率之和为1； 全概率公式 贝叶斯公式 在贝叶斯法则中，每个名词都有约定俗成的名称： Pr(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任
反向传播的直观理解 （以及为什么反向传播是一种快速的算法）
leung的博客
06-23 6183
解释：公式 46 其实就是微分的定义公式，”W +εej ”代表对于由 j 个 weight 构成的单位向量 W，在其他权重都不变的情况下，使得 Wj微小的改变ε（W为单位向量，ej= 1，ε可正可负）。这个公式是向量形式。 解释：计算一次网络传播需要1,00,001次说的是模型进行一次梯度下降，即更新一次所有权重。1,000,000个参数需要将网络向前传播 1,000,000...
为什么说反向传播算法很高效？
lujiandong1的专栏
10-01 2853
2.线性神经网络
最新发布
kaszxc的博客
06-13 234
线性回归是对N维输入的加权，外加偏差使用平方损失来衡量预测值和真实值的差异线性回归有显示解，一般都网络都是非线性的没有显示解线性回归可以看做是单层神经网络梯度下降通过不断沿着反梯度方向更新参数求解小批量随机梯度下降是深度学习默认的求解算法两个重要的超参数是批量大小和学习率#初始化模型参数# PyTorch不会隐式（自动）地调整输入的形状。因此，#创建了一个简单的神经网络模型 net。
CNN与RNN反向传播算法是什么，并比较
05-24
CNN和RNN都是深度学习中常用的神经网络模型，它们的反向传播算法也有所不同。 对于CNN来说，反向传播算法主要包括两个部分：前向传播和误差反向传播。前向传播是将输入数据通过卷积层、池化层等操作得到输出结果，其中每一层的参数都需要进行学习。误差反向传播是将输出结果与真实标签进行比较，计算出误差，然后将误差反向传播回每一层，根据误差更新每一层的参数。在反向传播过程中，卷积层和池化层可以共享参数，从而减少模型参数量。 对于RNN来说，反向传播算法主要包括正向传播和误差反向传播。正向传播是将输入数据按时间步展开，得到每个时间步的输出结果。误差反向传播是将每个时间步的误差反向传播到前面的时间步，并更新每个时间步的参数。在RNN中，由于存在时间步的依赖关系，每个时间步的误差都会被反向传播到前面的时间步，这就是所谓的“梯度消失”问题。 相比而言，CNN的反向传播算法更加简单直观，而且可以通过共享参数减少模型参数量，但是对于图像等具有空间结构的数据处理效果更好。而RNN适用于序列数据的处理，但是在长序列数据中存在梯度消失问题，训练困难。因此在实际应用中，需要根据具体问题的特点选择适合的网络模型和反向传播算法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值