cnn 反向传播推导_在CNN中的反向传播

最新推荐文章于 2024-07-24 12:00:37 发布

乡下老农民

最新推荐文章于 2024-07-24 12:00:37 发布

阅读量396

点赞数

文章标签： cnn 反向传播推导

本文链接：https://blog.csdn.net/weixin_34006342/article/details/112452934

版权

本文详细介绍了卷积神经网络（CNN）的反向传播过程，利用链式法则逐步计算从输出到输入的梯度。首先阐述了链式法则的基本原理，接着在卷积层中应用该法则，通过具体的例子展示了如何计算局部梯度和卷积核的梯度。总结了在CNN中，反向传播本质上也是一种卷积操作。

摘要由CSDN通过智能技术生成

本文使用 Zhihu On VSCode 创作并发布

此文为翻译.

1. 链式法则

先理解一下在反向传播中的链式法则。假设有下面这个等式：

我们可以把它划分成两个等式：

下面让我们画出关于

的计算图，其中

：

当我们按照上图从左到右进行计算时（前向传播），可以得到

。

现在让我们回到反向传播阶段。我们计算梯度从右往左，因此最后，我们可以得到关于我们的输入

的梯度：

。在从右往左进行计算时，在乘积门，我们可以得到

，在加和门我们可以得到

。

我们希望获得

，但是目前我们只获得了

，那么我们达到我们的目标呢。这里就可以使用链式法则来进行推导，通过链式法则，我们可以计算

：

那么我们可以计算得到

如下：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

乡下老农民

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

CNN池化层反向传播推导

weixin_45252975的博客

12-05

839

昨天晚上推CNN反向，池化层这块没推明白，不懂为什么meanpool偏导为1/（k*k）,但是上采样却变成了另一种看起来比较简单的方法。一、明确反向传播的是什么 cost函数对某一参数的偏导，即某一参数发生变化，会对cost产生什么影响。在已l层变化对cost的影响，我们可以进一步根据链式法则得到l-1层参数对cost的影响。二、在池化层中目前，我们已知的是池化后的z(l)变化对cost的影响，想要知道的是池化前的z(l-1)对cost的影响。 z(l-1)通过激活函数，变为a(l-1)，再经过池化

推导CNN中的BP误差反向传播算法

青衫憶笙

07-11

1965

实际上就是一个：梯度下降反向传播更新如果熟知高数和懂最优化的梯度下降理论，可以直接跳到四一、反向传播的由来在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数接下来我们需要知道ANN是怎么训练的，假设ANN网络已经搭建好了，在所有应用问题中（不管是网络结构，...

参与评论您还未登录，请先登录后发表或查看评论

CNN与反向传播

02-02

The purpose of this memo is trying to understand and remind the backpropagation algorithm in Convolutional Neural Network based on a discussion with Prof.Masayuk Tanaka

【CNN】四张图彻底搞懂CNN反向传播算法（通俗易懂）

zenRRan的博客

11-28

1278

点击上方，选择星标或置顶，每天给你送干货！阅读大概需要5分钟跟随小博主，每天进步一丢丢作者：陈楠来源：知乎整理：机器学习算法与自然语言处理公众号链接：https://zhuanlan.z...

【深度学习】卷积神经网络(CNN)反向传播算法推导

最新发布

fengdu78的博客

07-24

108

作者丨南柯一梦宁沉沦@知乎（已授权）编辑丨极市平台来源丨https://zhuanlan.zhihu.com/p/61898234多层感知机反向传播的数学推导，主要是用数学公式来进行表示的，在全连接神经网络中，它们并不复杂，即使是纯数学公式也比较好理解。而卷积神经网络相对比较复杂，在本篇文章中我们将从直观感受和数学公式两方面来介绍CNN反向传播算法的推导。首先我给大家介绍一下我分析delta误差...

CNN反向传播推导

donghai_yu的博客

03-23

4122

做CS231n作业碰到要实现CNN，在反向传播部分卡住，找了一些资料仔细推导了一番才得到结果，感觉有一些资料没有写清楚，这里把自己结合资料的推导过程与大家分享。参考：Convolutional Neural Networks backpropagation:from intuition to derivation CNN反向传播算法 主要借鉴了这一篇博客，再拜，主要在此为基础上做...

卷积神经网络(CNN)反向传播算法

zdy0_2004的专栏

03-03

3702

http://www.cnblogs.com/pinard/p/6494810.html 　　　　在卷积神经网络(CNN)前向传播算法中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法：深度神经网络（DNN）反向传播算法(BP) 1. 回顾DNN的反向传播算法 　　

[CNN反向传播]CNN反向传播推导

急流勇进

01-28

746

原文链接：http://jermmy.xyz/2017/12/16/2017-12-16-cnn-back-propagation/

cnn 反向传播 推导

09-01

在CNN中，反向传播的实现主要包括两个步骤：前向传播和反向传播。首先，进行前向传播。首先将输入数据通过卷积层进行卷积运算，提取出图像的特征。然后，通过激活函数（如ReLU）来引入非线性。接下来，利用池化层...

卷积神经网络CNN的反向传播算法推导

随风秀舞（diyoosjtu）

04-19

904

文章目录1. 全连接层2. 池化层3. 卷积层4. 参考资料 1. 全连接层与深度神经网络DNN的反向传播算法一致，辅助变量： {δL=∂J∂zL=∂J∂aL⊙σ′(zL)δl=(Wl+1)Tδl+1⊙σ′(zl)\left\{\begin{aligned} &\delta^L = \frac{\partial J}{\partial z^L} = \frac{\partial ...

cnn卷积神经网络反向传播,cnn正向传播和反向传播

m0_54846070的博客

08-15

1728

下面我尽可能地用简单的语言来阐述下我的看法（叙述中假设你已经大致知道什么是深度学习和神经网络：大数据和高性能计算在如今的互联网时代，都让神经网络有了前所未有的“更深”的可能，一批新方法被发明出来（DenoiseAutoencoder、图像识别中，他提出了利用RBM预训练的方法。几年后人们发现？3，抛砖引玉。在这个框架下？...

反向传播算法数学推导

11-21

吴恩达机器学习课程反向传播算法的数学推导 Proof of Back Propagation Algorithm.pdf 【本文旨在给出吴恩达机器学习课程反向传播算法的数学推导】

CNN的反向传播推导

czp_374的博客

01-21

2890

卷积神经网络三个重要概念：局部感受野（local receptive fields）共享权重（shared weights）池化（pooling）（1）局部感受野：在全连接的网络中，输入被描绘成纵向排列的神经元，但是在卷积网络中我们把它看成28x28的方形：输入神经元的一小片区域会被连接到下一层隐层，这个区域被称为局部感受野，然后在输入图像中移动局部感受野，每移动一次，对应一个隐层...

CNN反向传播过程

希望能对学习C语言的朋友有帮助

11-01

754

反向传播过程是深度学习的核心所在，虽然现在很多深度学习架构如Tensorflow等，已经自带反向传播过程的功能。我们只需要完成网络结构的正向传播的搭建，反向传播过程以及参数更新都是由架构本身来完成的。但为了更好的了解深度学习的机理，理解反向传播过程的原理还是很重要的。在学习完吴恩达的深度学习课程后，对浅层神经网络的反向传播有了一个很清楚的认识。但在课程中对于深层神经网络和卷积神经网络反向传播过程，只给出了反向传播的公式。并没有给出具体的推导过程，所以在这一块之前一直不是很明白。通过最近几...

BP（反向传播）算法和CNN反向传播算法推导（转载）

hit1524468的专栏

02-25

2775

BP算法和CNN算法推导过程

CNN反向传播实现

weixin_41396062的博客

12-16

507

写了一周多，终于把cnn的前向传播和BP算法写完了，加入了正则化，滑动平均等。。（还是个初学者，很多能有写错的地方）收货很多，对于tensorflow框架的认识也更深了一些相比于tensorflow，速度还是慢了很多。。。 import numpy as np import threading import time import cv2 import random start=time.c...

cnn 反向传播推导_4.1.2 CNN反向传播

weixin_29350039的博客

12-23

178

## 反向传播方向更新w和b的值：反向传播的目的：求损失函数w和b的偏导数，其实也就是求损失函数在w和b方向上的梯度分量，然后用在梯度方向上更新w和b最后是损失函数降到最小。是不是很绕口，你也可以这样理解其实反向传播就是去更新参数的一种方法。二话不说先上例子一看就明白：> 此例子出自：https://zhuanlan.zhihu.com/p/23270674> 注意：每一个小圆圈相当于...