深度学习（六）——反向传播计算w对应的梯度

最新推荐文章于 2023-02-02 14:35:14 发布
最新推荐文章于 2023-02-02 14:35:14 发布
阅读量716 收藏 2
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41386300/article/details/102712248
版权

在这里插入图片描述
在这里插入图片描述
如下图，从下往上是第一阶段，第二阶段是从上往下
在这里插入图片描述
上图总结如下图
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上图中正向传播过程是绿色的数字，从左导右
上图中反向传播（红色数字，从右到左），算法：求偏导之后将x代入算出结果，比如第一个结点1/x，它的偏导公式在上图中有，把1.37代入得-0.53，注意这里不是把0.73也不是把1当x代入，而是把1.37代入，因为x本来就是1.37，1/1.37才等于0.73，所以x是1.37，依次类推…

  • 怎么调整w？当算出w2 的梯度为 0.2时，此时下一次的w应为 -3-（学习率*梯度0.2），这就是怎么调w的方法

上述过程就是反向传播的过程

而tensorflow不会这么一层一层求导函数，它会把整个 f 函数（比如sigmod函数//（1+e**-z））求偏导，然后代入x

qq_41386300
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播
花有重开日，人无再少年
01-05 705
使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播一、what is 反向传播二、乘法节点的反向传播三、加法节点的反向传播四、加法层和乘法层混合应用 一、what is 反向传播 误差反向传播法是一种高效计算权重参数的梯度的方法。所谓的反向传播，从图上看的话，就是从右向左的传播。 举个例子，如图所示，jym买了两个100元一个的苹果，消费税是10%，最终输出支付金额，这个图就表示了一个计算的流程。正向看都能理解，就是100和2相乘得到200，作为下一个节点的入，然后200和1.1相乘
反向传播算法：计算梯度的利器
最新发布
禅与计算机程序设计艺术
04-28 390
1. 背景介绍 1.1 人工智能与机器学习 人工智能（Artificial Intelligence，AI）旨在使机器能够像人类一样思考和行动。机器学习（Machine Learning，ML）作为人工智能的一个重要分支，致力于研究如何让计算机系统从数据中学习并改进其性能，而无需进行显式的编程。近
聊聊关于矩阵反向传播的梯度计算
Henry的博客
02-02 1190
本章采用的是 W * X = Y 的方式计算。因为资料或者书籍上面有时候矩阵乘法的顺序会不一样，有的还会加上转置等等。其实这些都是为了满足矩阵乘法规则为了不会混乱，可以这样记忆。可以不用考虑乘法的顺序或者有无转置A * B = C 的矩阵乘法计算谁的时候，就用反向传递的值替换掉谁，然后将另一个元素转置。顺序不变例如：计算W梯度的时候，用反向传递的值替换掉W，变成 y * X（这里y是反向传递的值，本章y = 2 Y）然后另一个元素转置，变成y * X（转置）
梯度下降案例（反向传播）求w
weixin_45116096的博客
06-17 82
# 导入模块 import tensorflow as tf # 初始化权重，学习率，迭代次数 w = tf.Variable(tf.constant(5,dtype=tf.float32)) lr =0.1 epoch = 40 # 反向传播 for epoch in range(epoch): #循环epoch次 with tf.GradientTape() as tape: # 梯度下降 loss = tf.square(w+1) # 损失函数 grads = ta
反向传播梯度的计算
fly_Xiaoma的博客
06-29 2531
适用pytorch中Variable()函数中的backward()自动计算梯度 手动实现梯度计算（缺点：计算网络复杂时容易出错，难以检查） # -*- coding: utf-8 -*- #@Time :2019/6/29 18:36 #@Author :XiaoMa import torch as t from torch.autograd import Variable as V...
深度学习实践 反向传播算法(在图上进行梯度传播非常重要的算法)
EP的别三日
10-28 1272
文章目录Back Propagation知识代码： Back Propagation 知识 w.item()： 可以直接将梯度变成标量 w.data: 取数值进行计算 不会构建计算图 w.zero_(): 释放数值 对其清零 计算过程可以看作在图上进行梯度传播 训练的目的：使Loss取更新。计算Loss对w的导数，对w进行更新。因为目标不是y_pred取最小，而是使损失Loss取最小。 如何将复杂的网络看成图，在图上传播梯度，根据链式法则求出梯度。（反向传播：Back propagation） W：权重矩
caffe源码——深度学习框架
06-27
源码中每个层类都有对应的前向传播(forward)和反向传播(backward)函数，这是深度学习模型训练的核心算法。 网络构建在Caffe中通过prototxt文件进行，这是一种基于文本的配置文件，可以方便地定义网络结构、设置参数...
深度学习语音降噪_Matlab深度学习语音降噪_
10-01
在训练过程中，我们会用到反向传播算法来优化网络权重，常用的优化器有梯度下降、Adam等。损失函数通常是均方误差（MSE），用于衡量预测值与真实值之间的差距。训练完成后，我们可以使用测试集评估模型的性能，例如...
吴恩达深度学习编程作业
12-05
1. **深度学习基础**：包括神经网络的基本结构、反向传播算法、损失函数、梯度下降等。 2. **卷积神经网络（CNN）**：用于图像识别和处理，学习滤波器、池化层、卷积操作等概念。 3. **循环神经网络（RNN）**：用于...
一天搞懂深度学习
12-07
此外，我们还会探讨深度学习的挑战，如过拟合、梯度消失和爆炸问题，以及对应的解决策略，如正则化、批量归一化、激活函数的选择和残差连接等。优化算法也是深度学习的关键，如梯度下降、动量优化、Adam优化器等，...
吴恩达深度学习第一课第二周编程作业
04-06
在“吴恩达深度学习第一课第二周编程作业”中，我们主要探讨的是深度学习的基础——逻辑回归（Logistic Regression）及其应用。逻辑回归是一种广泛使用的分类算法，尤其在二分类问题上表现突出。它是深度学习的一个...
神经网络的反向传播求梯度
y_woshixiaowen的博客
03-06 116
我的学习笔记.参考：https://www.cnblogs.com/sumwailiu/p/13610588.html 1. 数学基础：参考：https://www.cnblogs.com/sumwailiu/p/13398121.html 2.tensorflow中有求梯度的函数直接调用。可以自行验证。 3.代码： import pandas as pd import numpy as np import tensorflow as tf np.random.seed(0) def cros.
Tensorflow(5):梯度下降，激活函数，反向传播及链式法则，fashionMNIST实战，kerasAPI，自定义网络层，加载和保存模型，CIFAR10实战
JJJJJJames的博客
01-28 731
1、梯度下降 what is gradient 导数，derivative 偏微分 partial derivative 梯度，gradient 梯度是每一个轴的偏微分组合而成的向量 what does it mean 梯度的方向是函数值变大的反向 how to search 按照梯度反向更新 autograd with tf.GradientTape()as tape: [w_grad]=tape.gradient(loss,[w]) presistent GradientTape 可以再
纯keras自定义梯度
qq965194745的博客
02-14 2065
纯keras不可能实现修改梯度的操作，需要研读后端的资料，已被keras大神解答 http://www.tensorfly.cn/tfdoc/how_tos/adding_an_op.html#AUTOGENERATED-implement-the-gradient-in-python ...
13-反向传播法求梯度
ajream的博客
08-02 2778
文章目录反向传播法求梯度梯度下降求最小值 反向传播法求梯度 利用计算图求梯度是一种比较方便又快速的方法，如何利用计算图求梯度？先回忆一下计算图： 以 z=x2+y2z=x^2+y^2z=x2+y2 为例： 计算图以箭头和节点构成，正向传播时，得到的结果是 z=x2+y2z=x^2+y^2z=x2+y2 反向传播时，得到的结果是：∂L∂z×2x\frac{\partial L}{\partial z}\times 2x∂z∂L​×2x 和 ∂L∂z×2y\frac{\partial L}{\part
【深度学习】——深度学习中的梯度计算
萌兔兔MMQ！！
09-16 3535
这个可以理解为矩阵中元素依旧是矩阵的形式，而其中当i=j时，z2(i)对w2(j)的导数为a1，i≠j时，z2i与w2j没有关系， 到时为0。梯度下降在【机器学习基础】中已经总结了，而在深度学习中，由于模型更加复杂，梯度的求解难度更大，这里对在深度学习中的梯度计算方法进行回顾和学习。红色框中的正向传播用于求z对w的导数，绿色框的反向传播用于求loss对z的导数，二者相乘最终得到loss对w的导数。上面的图就表示a=f(b,c)这样一个方程，而图的节点表示变量，图的边表示操作(operation)。
【深度学习】7-矩阵乘法运算的反向传播求梯度
成长之路
09-02 5846
本节以较简单的例子来理解矩阵乘法下的反向传播过程。为了稍微形象一些，这里同样会用到计算图来进行描述。
深度学习之实战TensorFlow入门
09-15
<p><img src="https://img-bss.csdnimg.cn/202105310159461731.jpg" alt="" /></p> <p><img src="https://img-bss.csdnimg.cn/202105310200189386.png" alt="" /></p> <p><img src="https://img-bss.csdnimg.cn/202105310200348844.png" alt="" /></p> <p><img src="https://img-bss.csdnimg.cn/202105310200481687.png" alt="" /></p> <p><img src="https://img-bss.csdnimg.cn/202105310201445161.jpg" alt="" /></p> <p><img src="https://img-bss.csdnimg.cn/202105310202013015.png" alt="" /></p>
对损失函数以及参数w的梯度下降公式的推导
动力中原
07-27 1278
根据《统计学习方法》第6章中6.1节介绍，下面对损失函数以及参数www的梯度下降公式的推导： SigmoidSigmoidSigmoid函数为： g(z)=11+e−zg(z)=\frac{1}{1+e^{-z}}g(z)=1+e−z1​ 给定一个样本xxx，可以使用一个线性函数对自变量进行线性组合 z=w0+w1x1+w2x2+⋯+wnxn=∑i=0nwixi=wTXz=w_0+w_1x_1+w...
深度学习中反向传播计算梯度有什么用
05-12
反向传播算法是深度学习中常用的优化算法，它可以计算出神经网络中每个参数的梯度，从而实现参数的更新和优化。 在深度学习中，我们通常使用梯度下降算法来更新模型中的参数，以使模型的预测结果更加精确。梯度下降...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值