深度学习（六）——反向传播计算w对应的梯度

最新推荐文章于 2023-02-02 14:35:14 发布
最新推荐文章于 2023-02-02 14:35:14 发布
阅读量722 收藏 2
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41386300/article/details/102712248
版权

在这里插入图片描述
在这里插入图片描述
如下图，从下往上是第一阶段，第二阶段是从上往下
在这里插入图片描述
上图总结如下图
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上图中正向传播过程是绿色的数字，从左导右
上图中反向传播（红色数字，从右到左），算法：求偏导之后将x代入算出结果，比如第一个结点1/x，它的偏导公式在上图中有，把1.37代入得-0.53，注意这里不是把0.73也不是把1当x代入，而是把1.37代入，因为x本来就是1.37，1/1.37才等于0.73，所以x是1.37，依次类推…

  • 怎么调整w？当算出w2 的梯度为 0.2时，此时下一次的w应为 -3-（学习率*梯度0.2），这就是怎么调w的方法

上述过程就是反向传播的过程

而tensorflow不会这么一层一层求导函数，它会把整个 f 函数（比如sigmod函数//（1+e**-z））求偏导，然后代入x

qq_41386300
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
反向传播算法：计算梯度的利器
禅与计算机程序设计艺术
04-28 407
1. 背景介绍 1.1 人工智能与机器学习 人工智能（Artificial Intelligence，AI）旨在使机器能够像人类一样思考和行动。机器学习（Machine Learning，ML）作为人工智能的一个重要分支，致力于研究如何让计算机系统从数据中学习并改进其性能，而无需进行显式的编程。近
使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播
花有重开日，人无再少年
01-05 710
使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播一、what is 反向传播二、乘法节点的反向传播三、加法节点的反向传播四、加法层和乘法层混合应用 一、what is 反向传播 误差反向传播法是一种高效计算权重参数的梯度的方法。所谓的反向传播，从图上看的话，就是从右向左的传播。 举个例子，如图所示，jym买了两个100元一个的苹果，消费税是10%，最终输出支付金额，这个图就表示了一个计算的流程。正向看都能理解，就是100和2相乘得到200，作为下一个节点的入，然后200和1.1相乘
一步一步教你反向传播，求梯度(A Step by Step Backpropagation Example)
勿以恶小而为之,勿以善小而不为
02-20 3557
本文是我在学习反向传播时翻译的一篇文章。原文链接如下。 A Step by Step Backpropagation Example 实例学习 在这个例子里，我们将制作一个小型神经网络。它有连个输入，两个隐藏的神经元，两个输出神经元。 此外，隐藏和输出的神经元都包含了一个偏差（bias）。下图是这个神经网络的结构。 下面我们给各个参数设定一些值。权重(w) , 偏差(b) 和用来训练的输入输出 ...
13-反向传播法求梯度
ajream的博客
08-02 2798
文章目录反向传播法求梯度梯度下降求最小值 反向传播法求梯度 利用计算图求梯度是一种比较方便又快速的方法，如何利用计算图求梯度？先回忆一下计算图： 以 z=x2+y2z=x^2+y^2z=x2+y2 为例： 计算图以箭头和节点构成，正向传播时，得到的结果是 z=x2+y2z=x^2+y^2z=x2+y2 反向传播时，得到的结果是：∂L∂z×2x\frac{\partial L}{\partial z}\times 2x∂z∂L​×2x 和 ∂L∂z×2y\frac{\partial L}{\part
反向传播梯度的计算
fly_Xiaoma的博客
06-29 2532
适用pytorch中Variable()函数中的backward()自动计算梯度 手动实现梯度计算（缺点：计算网络复杂时容易出错，难以检查） # -*- coding: utf-8 -*- #@Time :2019/6/29 18:36 #@Author :XiaoMa import torch as t from torch.autograd import Variable as V...
【深度学习】7-矩阵乘法运算的反向传播求梯度
成长之路
09-02 6016
本节以较简单的例子来理解矩阵乘法下的反向传播过程。为了稍微形象一些，这里同样会用到计算图来进行描述。
深度学习代码实战——基于RNN的时间序列拟合（回归）
12-21
在本篇深度学习实战教程中，我们将探讨如何利用循环神经网络（RNN）进行时间序列拟合，也就是回归任务。循环神经网络因其独特的结构，能够处理具有时序依赖性的数据，比如在这里我们要用正弦函数的值来预测余弦函数...
caffe源码——深度学习框架
06-27
源码中每个层类都有对应的前向传播(forward)和反向传播(backward)函数，这是深度学习模型训练的核心算法。 网络构建在Caffe中通过prototxt文件进行，这是一种基于文本的配置文件，可以方便地定义网络结构、设置参数...
深度学习语音降噪_Matlab深度学习语音降噪_
10-01
在训练过程中，我们会用到反向传播算法来优化网络权重，常用的优化器有梯度下降、Adam等。损失函数通常是均方误差（MSE），用于衡量预测值与真实值之间的差距。训练完成后，我们可以使用测试集评估模型的性能，例如...
AI学习笔记——卷积神经网络（CNN）
01-27
整个网络的参数包括滤波器的权重和偏置，以及全连接层的权重，这些参数通过反向传播和梯度下降等优化算法进行训练。 总的来说，卷积神经网络通过其特有的卷积、池化和全连接结构，有效地处理图像数据，自动提取特征...
【记录】动手学深度学习05
01-20
本文主要探讨了RNN中的一个重要概念——通过时间反向传播（Backpropagation Through Time, BPTT）以及如何解决RNN在训练过程中遇到的梯度消失和梯度爆炸问题，特别是介绍了门控循环单元（Gated Recurrent Unit, GRU...
对于深度学习中梯度下降和反向传播的理解
番茄炒蛋三分糖
09-26 2671
对于深度学习任务的理解，梯度下降和反向传播的理解。
【深度学习】——深度学习中的梯度计算
萌兔兔MMQ！！
09-16 3585
这个可以理解为矩阵中元素依旧是矩阵的形式，而其中当i=j时，z2(i)对w2(j)的导数为a1，i≠j时，z2i与w2j没有关系， 到时为0。梯度下降在【机器学习基础】中已经总结了，而在深度学习中，由于模型更加复杂，梯度的求解难度更大，这里对在深度学习中的梯度计算方法进行回顾和学习。红色框中的正向传播用于求z对w的导数，绿色框的反向传播用于求loss对z的导数，二者相乘最终得到loss对w的导数。上面的图就表示a=f(b,c)这样一个方程，而图的节点表示变量，图的边表示操作(operation)。
深度学习---反向传播算法
小飞鸟
12-11 3421
装载原文：https://www.cnblogs.com/yeluzi/p/7418291.html 一. 一种基于矩阵运算快速计算神经网络输出的方法 在介绍反向传播之前，先介绍怎么利用矩阵运算快速的计算神经网络输出。其实在上一章对这一块也提到过，不过不够详细。这里再介绍一下，帮助大家逐渐适应基于矩阵运算的表示方式。 我们先引入一个能够明确表示连接神经网络中某两层之间的某两个神经元的权重的符...
深度学习实践 反向传播算法(在图上进行梯度传播非常重要的算法)
EP的别三日
10-28 1275
文章目录Back Propagation知识代码： Back Propagation 知识 w.item()： 可以直接将梯度变成标量 w.data: 取数值进行计算 不会构建计算图 w.zero_(): 释放数值 对其清零 计算过程可以看作在图上进行梯度传播 训练的目的：使Loss取更新。计算Loss对w的导数，对w进行更新。因为目标不是y_pred取最小，而是使损失Loss取最小。 如何将复杂的网络看成图，在图上传播梯度，根据链式法则求出梯度。（反向传播：Back propagation） W：权重矩
聊聊关于矩阵反向传播的梯度计算
Henry的博客
02-02 1225
本章采用的是 W * X = Y 的方式计算。因为资料或者书籍上面有时候矩阵乘法的顺序会不一样，有的还会加上转置等等。其实这些都是为了满足矩阵乘法规则为了不会混乱，可以这样记忆。可以不用考虑乘法的顺序或者有无转置A * B = C 的矩阵乘法计算谁的时候，就用反向传递的值替换掉谁，然后将另一个元素转置。顺序不变例如：计算W梯度的时候，用反向传递的值替换掉W，变成 y * X（这里y是反向传递的值，本章y = 2 Y）然后另一个元素转置，变成y * X（转置）
反向传播梯度推导
scarlet witcher的博客
08-06 2465
1.前向传播 前向传播算法：将上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止。 对于Layer 2的输出 对于Layer 3的输出[公式]， [公式] [公式] 从上面可以看出，使用代数法一个个的表示输出比较复杂，而如果使用矩阵法则比较的简洁。将上面的例子一般化，并写成矩阵乘法的形式， [公式] [公式] 其中 [公式] 为 sigmoid 函数。 这个表示方法就很简洁、很漂亮，后面我们的讨论都会基于上面的这个矩阵法表示来。所以，应该牢牢记住我们符号的含义，否则在后面推导反
关于反向传播中矩阵求导的一些想法（2017CS231n斯坦福公开课-第四讲第九课时-46:26关于W的梯度矩阵）
minopus的博客
03-10 346
这个梯度矩阵是经过了转置之后的，采用了分母布局形式，而在前面的列向量对列向量的求导中，梯度矩阵则采用了分子布局，写成了雅可比形式 这是因为不是所有的数学教科书和论文都会在整个部分都保持一致性的。也就是有时候在相同的论文的不同部分会使用不同的约定。例如，有些地方选择了分母布局来表示梯度(将它们以列向量表示),而对于向量关于向量的导数却使用分子布局 ...
对损失函数以及参数w的梯度下降公式的推导
动力中原
07-27 1285
根据《统计学习方法》第6章中6.1节介绍，下面对损失函数以及参数www的梯度下降公式的推导： SigmoidSigmoidSigmoid函数为： g(z)=11+e−zg(z)=\frac{1}{1+e^{-z}}g(z)=1+e−z1​ 给定一个样本xxx，可以使用一个线性函数对自变量进行线性组合 z=w0+w1x1+w2x2+⋯+wnxn=∑i=0nwixi=wTXz=w_0+w_1x_1+w...
深度学习中反向传播计算梯度有什么用
最新发布
05-12
反向传播算法是深度学习中常用的优化算法，它可以计算出神经网络中每个参数的梯度，从而实现参数的更新和优化。 在深度学习中，我们通常使用梯度下降算法来更新模型中的参数，以使模型的预测结果更加精确。梯度下降算法的核心是计算损失函数（预测值与真实值之间的误差）对模型参数的偏导数，也就是梯度，然后按照梯度的负方向更新参数。反向传播算法可以自动计算这些偏导数，从而大大简化了参数更新的过程。 具体来说，反向传播算法通过链式法则将损失函数对输出层每个神经元的偏导数传递回输入层，从而计算出每个参数的偏导数。这些偏导数可以用来更新模型中的参数，以最小化损失函数。 总之，反向传播算法的作用是实现自动求导，从而计算出神经网络中每个参数的梯度，为模型的参数更新和优化提供支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值