池化层反向传播公式推导

最新推荐文章于 2023-07-14 10:42:24 发布
最新推荐文章于 2023-07-14 10:42:24 发布
阅读量2.1k 收藏 3
点赞数
分类专栏： 三省吾身 文章标签： BP 池化层
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z0n1l2/article/details/80892519
版权
本文探讨了池化层在深度学习中的作用，如减少计算量和提高多尺度信息，以及其潜在劣势。尽管有争议，池化层仍然被广泛应用。文章详细介绍了在反向传播过程中，均值池化和最大值池化的梯度计算方式，通过平均分配或复制最大值来传播误差。
摘要由CSDN通过智能技术生成

重点

  • 根据不同类型,上采用上层反向传入的梯度信息

池化层反向传播公式推导

池化层在深度学习网络架构中的作用包括:
* 减少计算量
减少特征图尺寸,减少后面的层的计算量

  • 提高多尺度信息
    如果存在多个池化层,就相当于网络中构造了一个多尺度特征金字塔,多尺度金字塔有利于提高检测/识别的稳定性

上述是池化层的优势,但是随着研究的深入,池化层的劣势也逐渐被发现,比如有实验发现”均值池化不利于网络的收敛”,至于网络稳定性的问题,也有文献怀疑resnet这之类加深网络结构的优化会降低网络对目标位置误差的鲁棒性,池化带来的优势被抵消了不少,感觉是一个鸡肋般的层.

不论如何,池化层目前还是被广泛使用的,本文主要说明池化层如何进行反向误差传播的.

BP算法的具体推导可以参考BP反向传播公式推导,其中推导了梯度信息从 k k 层传递到 k − 1 层的公式如下:

δk−1i=δk
最低0.47元/天 解锁文章
z0n1l2
关注
专栏目录
反向传播算法推导-全连接神经网络
SIGAI_CSDN的博客
07-07 9050
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 反向传播算法是人工神经网络训练时采用的一种通用方法，在现代深度学习中得到了大规模的应用。全连接神经网络（多层感知器模型，MLP），卷积神经网络（CNN），循环神经网络（RNN）中都有它的实现版本。算法从多元复合函数求...
CNN池化层反向传播推导
weixin_45252975的博客
12-05 858
昨天晚上推CNN反向，池化层这块没推明白，不懂为什么meanpool偏导为1/（k*k）,但是上采样却变成了另一种看起来比较简单的方法。 一、明确反向传播的是什么 cost函数对某一参数的偏导，即某一参数发生变化，会对cost产生什么影响。 在已l层变化对cost的影响，我们可以进一步根据链式法则得到l-1层参数对cost的影响。 二、在池化层中 目前，我们已知的是池化后的z(l)变化对cost的影响，想要知道的是池化前的z(l-1)对cost的影响。 z(l-1)通过激活函数，变为a(l-1)，再经过池化
CNN的反向传播过程的推导（池化层、卷积层）
legend_hua的博客
08-11 1万+
上一篇文章介绍了DNN的反向传播，对DNN不清楚的可以去看看，CNN在DNN的基础上进行解释。 一、回顾DNN的反向传播 上一篇DNN反向传播过程得出结论： 1、计算每一层的W、b的梯度，需要计算出 2、然后每一层的W的梯度和b的梯度                                                                             ...
池化层MaxPool函数详解及反向传播的公式推导
BrightLamp的博客
11-29 1万+
相关 配套代码, 请参考 : Python和PyTorch对比实现池化层MaxPool函数及反向传播 https://blog.csdn.net/oBrightLamp/article/details/84635308 正文 池化是一种尺寸缩小操作, 可以将大尺寸的图片缩小, 集约特征. 1. 池化层 MaxPool 函数的定义 本文约定矩阵元素的脚标从 0 开始. 当 X 为 m x n 矩阵,...
深度学习笔记5：池化层的实现
热门推荐
l691899397的博客
08-19 3万+
池化层的推导 池化层的输入一般来源于上一个卷积层，主要作用是引入不变性，并且减少了冗余。池化层一般没有参数，所以反向传播的时候，只需对输入参数求导，不需要进行权值更新。 池化层的前向计算 前向计算过程中，我们对卷积层输出map的每个不重叠（有时也可以使用重叠的区域进行池化）的n*n区域（我这里为2*2，其他大小的pooling过程类似）进行降采样，选取每个区域中的最大值(max-
CNN中池化层的推导
baidu_15113429的博客
07-16 540
使用numpy从头开始实现神经网络,包括反向传播公式推导过程; numpy构建全连接层、卷积层、池化层、Flatten层
最新发布
10-13
numpy从头开始实现神经网络,包括反向传播公式推导过程; numpy构建全连接层、卷积层、池化层、Flatten层；以及图像分类案例及精调网络案例等。 1、网络中梯度反向传播公式推导 2、层：FC层,卷积层,池化层,Flatten 3、...
0_2_5-池化层的反向传播-MaxPooling、AveragePooling、GlobalAveragePooling
default
09-11 3586
依赖知识 约定说明 前向传播 Max Pooling和Average Pooling Global Max Pooling和Global Average Pooling 反向传播 Max Pooling Average Pooling Global Max Pooling Global Average Pooling 依赖知识 a) 熟悉全连接层、损失函数的反向传播 ...
基于代码的Pooling池化层的反向求导细节
机器学习杂货铺1号店
08-04 2263
《土豆笔记之反向求导细节系列》Pooling池化层的反向求导细节 前言 这个系列主要是对深度学习中常见的各种层的反向求导细节进行学习和介绍，并且辅以代码予以理解，本章介绍的是池化层，包括有max_pooling和avg_pooling，考虑到其stride的变化，其反向求导的细节也颇具有价值进行深究。如有谬误请联系指出，谢谢。 联系方式： e-mail: FesianXu@gmail....
[深度学习] 池化层
四月晴
07-15 1万+
转载自：https://blog.csdn.net/l691899397/article/details/52250190 池化层的输入一般来源于上一个卷积层，主要的作用是提供了很强的鲁棒性。（例如max-pooling是取一小块区域中的最大值，此时若此区域中的其他值略有变化，或者图像稍有平移，pooling后的结果仍不变），并且减少了参数的数量，防止过拟合现象的发生。池化层一般没有参数，所以反...
卷积神经网络CNN（二）池化、结构、误差反向传播
Cufewxy的博客
05-29 7447
上一篇介绍了CNN基本概念和卷积的知识，CNN的特征抽取除了包含卷积，还包含池化。池化池化又叫子采样，是特殊的卷积。池化比较好理解，还是上篇公司工作交接的例子，每个销售区域有100个老员工，我们可以先推举一个最懂本区域的业务人员参与交接（如各区域的领导），其他人员不必参与交接；或者每个区域内部先开一个会，把100个老员工的经验结合在一起，生成一个会议纪要，根据这份纪要与新员工交接。这实际对应两种池...
手推DNN，CNN池化层，卷积层反向传播
LXYTSOS的专栏
08-24 1619
反向传播算法是神经网络中用来学习的算法，从网络的输出一直往输出方向计算梯度来更新网络参数，达到学习的目的，而因为其传播方向与网络的推理方向相反，因此成为反向传播。神经网络有很多种，那么它们还有其中包含的一些结构，是如何计算出梯度来的呢，在这里为大家手动推导DNN，池化层，卷积层的求导过程。 DNN反向传播 DNN的反向传播推导相对来说比较简单，那么在卷积网络中如何反向传播呢，特别是在池化层和卷积...
池化层(Pooling)的反向传播
thisiszdy的博客
03-26 1460
参考博客：https://blog.csdn.net/qq_21190081/article/details/72871704 Pooling池化操作的反向梯度传播 CNN网络中另外一个不可导的环节就是Pooling池化操作，因为Pooling操作使得feature map的尺寸变化，假如做2×2的池化，假设那么第l+1层的feature map有16个梯度，那么第l层就会有64个梯度，这使得梯度...
池化层的反向传播
远方
01-14 6051
今天博主在研究卷积神经网络的反向传播算法时，产生了这么一个疑问：pooling层没有卷积核，那反向传播的时候，做了些什么呢？更新了什么参数呢? 有一位博主提到：池化层一般没有参数，所以反向传播的时候，只需对输入参数求导，不需要进行权值更新。但是具体在计算的时候是要根据Max还是Average来进行区分，进行参数更新的。 我们来看看池化层的前向传播和反向传播过程   1 Max-Poolin...
详解卷积神经网络的反向传播原理-cnn反向传播、池化层的反向传播
lovep1的博客
03-18 2770
本文详细讲解dnn和cnn的反向传播流程。其实无论是dnn还是cnn、pool层，最重要的是，我们要弄清楚反向传播的四个公式，弄清楚他们，我们就明白整个网络是如何运作和优化的，4个核心公式分别是： 1、输出层的误差方程 -这个是基础 2、误差传递方程 3、可训练参数权重w的变化率（梯度） 4、可训练参数偏置b的变化率（说到底其实网络就是在算误差，然后优化w和b，使得最后误差最小） 同时理解各种层的前向推理过程，那么整个网络的流动和机制就相当清晰了。 ...
卷积神经网络(CNN)反向传播算法推导
huahuazhu的博客
08-04 1294
在之前的文章中我介绍了多层感知机反向传播的数学推导，主要是用数学公式来进行表示的，在全连接神经网络中，它们并不复杂，即使是纯数学公式也比较好理解。而卷积神经网络相对比较复杂，在本篇文章中我们将从直观感受和数学公式两方面来介绍CNN反向传播算法的推导。 南柯一梦宁沉沦：神经网络中反向传播算法数学推导83 赞同 · 10 评论文章 首先我给大家介绍一下我分析delta误差反向传播过程的简单方法，如果神经网络l+1层某个结点的delta误差要传到l层，我们就去找前向传播时l+1层的这个结点和第l层的哪
Pool池化下采样层详解（二）
梦在黎明破晓时的博客
07-14 1627
池化过程类似于卷积过程。上图表示的就是对一个图片邻域内的值，用一个 2x2 的池化kernel，步长为2进行扫描，选择最大值输出，称为最大池化。。还有一种叫平均池化，和最大池化类似，就是将取区域内最大值改为求这个区域的平均值。最大池化操作：将 n x n 尺寸内所有像素值取最大值作为输出通道的像素值。● kernel_size：最大的窗口大小，可以是单值也可以是tuple元组● stride：窗口的步幅（步长），，可以是单值也可以是tuple元组● padding：填充值，
反向传播算法几个重要公式的详细推导
小T是我
06-20 5772
斯坦福大学《Machine Learning》第五周学习过程中，对反向传播算法的几个公式看得云里雾里的，这里做一个详细的推导和总结 公式一： 公式二： 公式三： 首先已知，这个是我们定义的，不用推导，但是为什么要这样定义呢？ 我们给神经元的加权输入添加一点改变，这就导致了神经元的输出变成了，而不是之前的。这个改变在后续的网络层中传播，最终使全部代价改变了。因此，可以用来衡量神经元里的错误量....
CNN反向传播深入解析：区别于全连接BP的三个关键点
最后，作者通过一系列的图示和公式，详细阐述了CNN的前向传播过程，特别是输入层到卷积层和卷积层到池化层的流程，以及如何通过反向传播来优化网络参数。这些步骤涉及了细致的矩阵乘法、误差扩散和权重更新，对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值