cnn 反向传播推导_四张图彻底搞懂CNN反向传播算法（通俗易懂）

最新推荐文章于 2024-07-24 12:00:37 发布
最新推荐文章于 2024-07-24 12:00:37 发布
阅读量295 收藏 2
点赞数 1
文章标签： cnn 反向传播推导
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39885412/article/details/112452935
版权
本文深入介绍了卷积层和池化层的反向传播算法。通过图示展示了如何将卷积层转换为全连接层进行反向传播，并详细解释了平均池化和最大池化的反向传播过程。对于卷积层，重点在于矩阵展开和转换；而对于池化层，主要探讨了如何根据最大值索引更新梯度。这些内容对于理解深度学习中的反向传播至关重要。
摘要由CSDN通过智能技术生成

038651bb1547e4bc93e773dc69252b96.png

阅读本文之前，请首先阅读之前讲述的全连接层的反向传播算法详细推导过程：

反向传播算法推导过程（非常详细）已经了解反向传播算法的请自动忽略。

1. 卷积层的反向传播

废话不说，直接上图：

cd061bfa67d7ce6ce05c93749aecbbc0.png

假设输入为一张单通道图像

，卷积核大小为
，输出为
。为了加速计算，首先将
按卷积核滑动顺序依次展开，如上图所示。其中，
中的红色框代表
中的红色框展开后的结果，将
依次按照此方式展开，可得
。同理可得
，然后通过矩阵相乘可得输出
（
与
等价）。此时，已经将CNN转化为FC，与反向传播算法完全一致，这里不再做详细介绍。

当有 N 个样本，做一个batch训练,即channel=N时，前向与反向传播方式如下图所示：

f0099c3d986b62b50033fabed9360b8d.png

其中，输入图像channel=3,使用2个

的卷积核，输出两张图像，如图所示。红色框、黄色框代表的是卷积核以及使用该卷积核得到的输出图像
。当输入图像为一个batch时，
的转化方式如上图，首先将输入图像与卷积核分别按单通道图像展开，然后将展开后的矩阵在行方向级联。此时，已经将CNN转化为了FC，与反向传播算法完全一致，这里不再做详细介绍。

2. Average pooling的反向传播

0b773c2b5cfb13bd3e134d982953e613.png

不用求，因为
为常数。

3. Max-pooling的反向传播

c824ae156dab970c8e5c72b4c4cda44a.png

遍历

的每一行，找出此行最大值的索引
，然后将
中索引为
的值设为
对应行的值，将此行其余列的值设为
，如上图所示红框所示。假设
中(1,1)处的值是第一行中最大的值，则将
赋值给
中索引为
的位置。最后计算:
。
weixin_39885412
关注
CNN与反向传播
02-02
The purpose of this memo is trying to understand and remind the backpropagation algorithm in Convolutional Neural Network based on a discussion with Prof.Masayuk Tanaka
【CNN】四张图彻底搞懂CNN反向传播算法（通俗易懂）
zenRRan的博客
11-28 1276
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要5分钟跟随小博主，每天进步一丢丢作者：陈楠来源：知乎整理：机器学习算法与自然语言处理公众号链接：https://zhuanlan.z...
【深度学习】卷积神经网络(CNN)反向传播算法推导
最新发布
fengdu78的博客
07-24 102
作者丨南柯一梦宁沉沦@知乎（已授权）编辑丨极市平台来源丨https://zhuanlan.zhihu.com/p/61898234多层感知机反向传播的数学推导，主要是用数学公式来进行表示的，在全连接神经网络中，它们并不复杂，即使是纯数学公式也比较好理解。而卷积神经网络相对比较复杂，在本篇文章中我们将从直观感受和数学公式两方面来介绍CNN反向传播算法的推导。首先我给大家介绍一下我分析delta误差...
[CNN反向传播]CNN反向传播推导
急流勇进
01-28 744
原文链接：http://jermmy.xyz/2017/12/16/2017-12-16-cnn-back-propagation/
CNN的反向传播推导
czp_374的博客
01-21 2888
卷积神经网络三个重要概念： 局部感受野（local receptive fields） 共享权重（shared weights） 池化（pooling） （1）局部感受野：在全连接的网络中，输入被描绘成纵向排列的神经元，但是在卷积网络中我们把它看成28x28的方形： 输入神经元的一小片区域会被连接到下一层隐层，这个区域被称为局部感受野，然后在输入图像中移动局部感受野，每移动一次，对应一个隐层...
CNN反向传播推导
donghai_yu的博客
03-23 4122
做CS231n作业碰到要实现CNN，在反向传播部分卡住，找了一些资料仔细推导了一番才得到结果，感觉有一些资料没有写清楚，这里把自己结合资料的推导过程与大家分享。参考：Convolutional Neural Networks backpropagation:from intuition to derivation          CNN反向传播算法 主要借鉴了这一篇博客，再拜，主要在此为基础上做...
卷积神经网络反向传播理论推导
qq_45049708的博客
05-16 119
卷积神经网络反向传播理论推导
反向传播算法图解
08-02
深度学习
cnn 反向传播推导_在CNN中的反向传播
weixin_34006342的博客
01-08 396
本文使用 Zhihu On VSCode 创作并发布此文为翻译.1. 链式法则先理解一下在反向传播中的链式法则。 假设有下面这个等式：我们可以把它划分成两个等式：下面让我们画出关于的计算图，其中： 当我们按照上图从左到右进行计算时（前向传播），可以得到。现在让我们回到反向传播阶段。我们计算梯度从右往左，因此最后，我们可以得到关于我们的输入的梯度：。 在从右往左进行计算时，在乘积门，我们可以得到，...
CNN反向传播
Swift's Blog
06-08 406
深度神经网络(DNN)反向传播的公式推导可以参考之前的博客：https://transformerswsz.github.io/2019/05/29/反向传播/。 要套用DNN的反向传播算法到CNN，有几个问题需要解决： 池化层没有激活函数，我们可以令池化层的激活函数为 g(z)=zg(z) = zg(z)=z，即激活后输出本身，激活函数的导数为1。 池化层在前向传播的时候，对输入矩阵进行了压缩...
CNN的反向传播
weixin_34409357的博客
01-10 75
在一般的全联接神经网络中，我们通过反向传播算法计算参数的导数。BP 算法本质上可以认为是链式法则在矩阵求导上的运用。但 CNN 中的卷积操作则不再是全联接的形式，因此 CNN 的 BP 算法需要在原始的算法上稍作修改。这篇文章主要讲一下 BP 算法在卷积层和 pooling 层上的应用。 原始的 BP 算法 首先，用两个例子回顾一下原始的 BP 算法。（不熟悉 BP 可以参考How the bac...
卷积神经网络(CNN)的反向传播
Lavi的专栏
08-25 934
0 前言 学习CNN的反向传播算法之前最后先弄明白全连接网络的反向传播算法。裂墙推荐这个篇博客神经网络BP反向传播算法原理和详细推导流程，保证博到病除。 CNN 中的卷积操作则不再是全连接的形式，因此 CNN 的 BP 算法需要在原始的算法上稍作修改。这篇文章主要讲一下 BP 算法在卷积层和 pooling 层上的应用。 1 全连接网络的反向传播算法 首先，用两个例子回顾一下原始的 BP 算法。（...
图解反向传播算法
wjw1993year的博客
11-15 2898
图解反向传播算法 在训练神经网络时，前向传播是网络从接收输入 xxx 直到它产生一个标量代价函数 J(θ)J(\theta)J(θ) ，反向传播（BP）则是代价函数的信息通过网络向后流动并计算梯度。计算图可以准确地描述网络的前向和后向过程，而且代码实现图这种数据结构后，可以利用到图的遍历、拓扑排序等经典算法来实现通用的BP算法。 参考资料： 花书《深度学习》第六章 自动微分开源项目：https://gitee.com/Carl-Xie/AutodiffEngine 问题引入 训练神经网络时，需要计算参数
cnn 反向传播推导_4.1.2 CNN反向传播
weixin_29350039的博客
12-23 178
## 反向传播方向更新w和b的值：反向传播的目的：求损失函数w和b的偏导数，其实也就是求损失函数在w和b方向上的梯度分量，然后用在梯度方向上更新w和b最后是损失函数降到最小。是不是很绕口，你也可以这样理解其实反向传播就是去更新参数的一种方法。二话不说先上例子一看就明白：> 此例子出自：https://zhuanlan.zhihu.com/p/23270674> 注意：每一个小圆圈相当于...
CNN 介绍 反向传播
Jiashilin
07-29 622
CNN反向传播的不同之处： 首先要注意的是，一般神经网络中每一层输入输出a,z都只是一个向量，而CNN中的a,z是一个三维张量，即由若干个输入的子矩阵组成。其次： 池化层没有激活函数。这个问题倒比较好解决，我们可以令池化层的激活函数为σ(z)=z，即激活后就是自己本身。这样池化层激活函数的导数为1。 池化层在前向传播的时候，对输入进行了压缩，那么我们向前反向推导上一层的误差时，需要做upsa...
CNN反向传播公式推导
寂寞灵魂
10-16 1088
1.http://blog.csdn.net/lu597203933/article/details/46575871        2.http://www.cnblogs.com/tornadomeet/p/3468450.html        3.http://blog.csdn.net/zouxy09/article/details/9993371        4.Not
上述LIFT算法四张图块制作代码
06-06
以下是使用Python实现LIFT算法四张图块制作的示例代码： ```python import cv2 import numpy as np # 定义子块的大小 block_size = 16 # 读取输入图像 img = cv2.imread('input.jpg') # 划分子块 h, w, _ = img....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值