“深度学习”学习日记。误差反向传播法 -- 链式法则

已于 2023-01-15 10:59:26 修改
阅读量258 收藏 1
点赞数
文章标签： 深度学习 学习
于 2023-01-15 10:57:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72675651/article/details/128692033
版权

2023.1.15

开门见山，先直接讲什么是 链式法则 的定义：

“如果，某个函数有复合函数表示，则复合函数的导数可以用构成符合函数的各个导数的乘积表示。”

举一个例子：现在有一个函数  z=3t; t=x^{2}+y 

由以上定义可以这么理解：\frac{\partial z}{\partial t}=3 ;\frac{\partial t}{\partial x}=2x;\frac{\partial z}{\partial x}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial x}=6x  用通俗的话来讲就是 {\partial t} 相互抵消。

然而，计算图反向传播局部导数的原理也是基于 链式法则。

好比 一个损失函数： y=f(x) ;

 损失函数值loss乘以节点 f 的偏导数，再把这个局部导数乘以上游的传递过来的值。这就是反向传播，可以高效地求出导数的值。

以 z=3t; t=x^{2}+y  为例子 ：

 以**2节点表示平方运算，\frac{\partial z}{\partial z} =1  ; 根据链式法则 ：能验证 \frac{\partial z}{\partial z}\frac{\partial z}{\partial t}\frac{\partial t}{\partial x}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial x}=\frac{\partial z}{\partial x}  成立，更能验证反向传播是基于链式法则的

在撒哈拉卖雨伞
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习反向传播四大公式详细推导
08-24
手把手教你反向传播四大公式的由来及推导过程，学不会揍我！
机器学习-误差反向传播
06-28
公司内部AI学习资料，共享给感兴趣的朋友。值得一看！！！
反向传播原理的链式法则
互联网知识分享
12-21 1451
而链式法则是微积分中的一个重要概念，它描述了复合函数的导数计算方法，而反向传播算法正是利用了链式法则来高效地计算神经网络中每个参数的梯度。这种基于链式法则的反向传播算法是深度学习中非常重要的优化方法，对于神经网络的训练和参数优化起着至关重要的作用。通过链式法则，我们计算了每一层的梯度并更新了对应的权重和偏置。如果一个函数可以表示为多个函数的复合，那么它的导数可以通过这些函数的导数的乘积来计算。在神经网络中，每个神经元的输出可以看作是输入的复合函数，因此可以利用链式法则来计算代价函数相对于每个参数的梯度。
神经网络反向传播中的链式法则
Arthur_Holmes的博客
08-17 2352
https://www.youtube.com/watch?v=tIeHLnjs5U8&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=4 能够加深理解关于反向传播，视频中4分中左右
深度学习的数学 （6）误差反向传播法必需的链式法则
thefist的专栏
03-31 1048
1. 神经网络和复合函数 y = f(u)， u = g(x) 嵌套结构的函数 f(g(x)) 称为 f(u) 和 g(x) 的复合函数。 2. 链式法则,复合函数求导公式 2.1 三个函数的复合函数的链式法则 2.2. 多变量函数的链式法则 变量 z 为 u、 v 的函数，如果 u、 v 分别为 x、 y 的函数，则 z 为 x、 y的函数 z 关于 x 求导时，先对 u、 v 求导，然后与 z 的相应导数相乘，最后将乘积加起来 在三个以上的变量的情况下也同样成立 ...
深度学习入门（6）误差反向传播基础---计算图与链式法则
阿旭的博客
11-25 877
深度学习入门（6）误差反向传播基础---计算图与链式法则
链式法则及反向传播算法
鼠人的博客
09-14 820
链式法则及反向传播算法 目录链式法则及反向传播算法1. 链式法则2. 反向传播推导（多层多输出感知机）3. 2D函数优化（反向传播算法）实现 1. 链式法则 链式法则即链式求导 2. 反向传播推导（多层多输出感知机） 简要推导(求和范围为k∈Kk\in Kk∈K)∂E∂wij=∂∂wij(Ok−tk)22\frac{\partial E}{\partial w_{ij}}=\frac{\partial}{\partial w_{ij}}\frac{(O_k-t_k)^2}{2}∂wij​∂E​=∂w
深度学习：隐含层的反向传播
03-31
本资源专注于讲解如何在深度学习模型中实现隐含层的反向传播，这是一种用于优化权重参数的关键算法。 反向传播（Backpropagation）是训练多层神经网络时常用的一种优化方法。其基本思想是从输出层开始，按照相反的...
深度学习-反向传播
09-07
深度学习在现在如此高的利用率要向大家一起分享一些我记录的文档还有我遇到的一些问题和解决的问题还有一些盲区和概念。
深度学习之RNN、LSTM及正向反向传播原理
01-06
RNN通过反向传播和记忆机制，能够处理任意长度的序列，在架构上比前馈神经网络更符合生物神经网络的结构，它的产生也正是为了解决这类问题而应用而生的。  RNN及改进的LSTM等深度学习模型都是基于神经网络而发展的...
[026] 深度学习--学习笔记（4）Back-propagation反向传播链式法则理论推导
yhxxhy978的博客
05-29 961
1、梯度下降（GradientsDescent） 概念：构建Loss（预测值与实际值之间的偏差）与相关权值变量θ(0)和θ(1)的函数关系J(θ(0), θ(1))，在函数图像上随机取初值点，然后求初值点的导数（也就是梯度），并沿着导数最倾斜的方向按照一定的步长更新J点，以及类推总能找到J（min）的局部最优解，也就是预测值与实际值偏差最小的状态。 2、常用函数的求导公式 3、单层感知机（Perceptron）的梯度 不看灰色部分。感知机的输入输出关系为 z =ω ·x，那么输出z对权...
自动驾驶入门（六）：反向传播及链式法则
林小川的博客
08-02 898
1. Ubuntu环境安装配置 安装ubuntu18.04，参考链接：https://blog.csdn.net/qq_43106321/article/details/105361644 安装完成后，在进入grub启动界面时，10秒内使用↑↓键选中Ubuntu，按e键进行编辑，在倒数第二行quiet slash后添加nomodeset，该方法只是暂时禁用Nouveau显卡驱动 下载cuda11.1 登录cuda下载页面 https://developer.nvidia.com/cuda-
【深度学习数学基础之线性代数】研究使用链式法则进行反向传播的求导算法
lingchen1906的博客
01-20 1212
简单的说链式法则就是原本y对x求偏导，但是由于过程较为复杂，我们需要将函数进行拆分，通过链式进行分别求导，这样会使整个计算更为简单。假设f = k ( a + b c ) f = k(a + bc)f=k(a+bc)通俗来说，链式法则表明，知道z相对于y的瞬时变化率和y相对于x的瞬时变化率，就可以计算z相对于x的瞬时变化率作为这两个变化率的乘积。其实就是求复合函数导数的过程。用链式法则（将这些梯度表达式链接起来相乘。
浅谈神经网络之链式法则与反向传播算法
Peyzhang的博客
06-27 4664
反向传播是训练神经网络最重要的算法，可以这么说，没有反向传播算法就没有深度学习的今天。但是反向传播算法设计一大堆数据公式概念。所以我们了解导数计算过程以及要介绍的新的复合函数多层求导计算过程。简单的说链式法则就是原本y对x求偏导，但是由于过程较为复杂，我们需要将函数进行拆分，通过链式进行分别求导，这样会使整个计算更为简单。假设f = k(a + bc)，分别对 接下来我们用链式法则（将这些梯度表达式链接起来相乘。）对变量a、b、c进行求导： dfda=dfdvdvda=k∗1=k \frac{d f}{d
Tensorflow学习笔记----损失函数、链式法则、反向传播
weixin_43580130的博客
08-17 689
一．损失函数（LossFunction） MSE：loss = 1/NΣ( y - out )2 #MSE y = tf.constant([1,2,3,0,2]) y = tf.one_hot(y,depth=4)#独热编码指的是在分类问题中，将存在数据类别的那一类用X表示，不存在的用Y表示，这里的X常常是1， Y常常是0。 y = tf.cast(y,dtype = tf.float32) out = tf.random.normal([5,4]) #以下三种方式是求loss的不同方式 print("
【CNN基础知识】一文详解反向传播（Backpropagation）在CNN中如何具体实现——卷积、池化(上)
qq_45912037的博客
11-28 3395
受课程的大作业启发，仔细学习了下反向传播的具体实现过程。我们都知道CNN在训练时既有前向传播也有反向传播，但是在Pytorch中只需要一行代码就可以实现反向传播。我们不必手动实现它们。因此，大多数深度学习书籍也没有涵盖它。文章会从三部分进行分析。
【深度学习】4-1 误差反向传播法 - 计算图&链式法则&反向传播
loyd3的博客
06-20 1727
介绍链式法则时，要先从。
多元函数链式法则与反向传播算法的实例推演
https://www.cnblogs.com/qizhou/
06-06 638
　　反向传播算法基于多元函数链式法则，以下记录多元函数链式法则的证明与反向传播算法的实例推演。 多元复合函数的求导法则（多元链式法则） 定义 　　如果函数$u=\varphi(t)$及$v=\psi(t)$都在点$t$可导，函数$z = f(u,v)$在对应点$(u,v)$具有连续偏导数（重点），那么复合函数$z = f[\varphi(t),\psi(t)]$在点$t$可导，且有： $...
神经网络算法——反向传播 Back Propagation
最新发布
不要给自己设限，尝试更多可能（思所向 皆可往）
03-06 3694
本文将从反向传播的本质、反向传播的原理、反向传播的案例三个方面，详细介绍反向传播（Back Propagation）。
零基础入门深度学习(3) - 神经网络和反向传播算法1
08-03
文章列表零基础入门深度学习(1) - 感知器零基础入门深度学习(2) - 线性单元和梯度下降零基础入门深度学习(3) - 神经网络和反向传播算法零基础入门深度学

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值