理解MaxPool最大池化的作用与反向传播

最新推荐文章于 2025-03-13 15:30:16 发布
最新推荐文章于 2025-03-13 15:30:16 发布
阅读量2.1w 收藏 84
点赞数 30
分类专栏： 深度学习 文章标签： 深度学习 神经网络 卷积神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L1778586311/article/details/112159479
版权

目前网络中运用最多的pool操作就是maxpool，最大池化。最开始经典的网络用的较多的是平均池化。操作与机制都差不多，一个是取最大值，一个是取平均值。

作为小白的我最近看文章脑子里浮现出几个问题：

  1. 池化层（我们以最大池化为例）的作用
  2. 池化层如何通过反向传播

池化层的最直观的作用就是降维、减少参数量、去除冗余信息、对特征进行压缩、简化网络复杂度、减少计算量、减少内存消耗等等。

《动手学习深度学习》一书中还提到了这样一个作用： 缓解卷积层对位置的过度敏感性，实际上就是特征不变性。以下是书上的解释(pytorch版的《动手学》)：

书中这么解释的：
在这里插入图片描述
能不能理解成增大了感受野呢？通过下采用或者不填充(padding)的卷积操作，会使感受野增大，感受野增大对特征位置的鲁棒性也强了。这也是为什么一般网络的feature map都有一定的下采样率，而没有保留原图的size。

在思考第二个问题，如何反向传播的时候，我发现了(其实有的资料早有了)它好像还有另外一个作用？后来我查阅一些资料也证实了这个作用的存在，来看看我的理解对不对。

先看看这个操作怎么反向传播？反向传播这个高大上的机制通俗一点就是在求多元微分(权重的偏导数)，但是这个最大池化的操作肯定是不能进行求导操作的吧。那怎么反向传播的呢？直到动手画了下面这个图，茅塞顿开！！！我们把卷积层类比成全连层，并加入类似最大池化层的操作。
在这里插入图片描述
在这里插入图片描述

如上图所示：通过了最大池化操作保留下来的神经元对输出才有贡献，这样反向传播的时候就更新该保留下来的神经元以及与之有关的权重，其他的不更新。这是不是跟全连层某个操作很类似？dropout层！dropout层根据一定概率抛弃某些神经元使得网络不能过于依赖某些神经元的特征(万一是噪声或是其他无用的特征，多度依赖就不好了)，从而达到减缓过拟合的效果。从面类似最大池化的操作没有通过概率抛弃，取而代之的是根据最大值来筛选，剩下的神经元抛弃，真有其曲同工之妙！

这也就解释了池化层的另一个作用：防止或者说缓解过拟合

借用别人一张图，懒得画了，谢谢原图主人。最大池化在在CNN中呈现的样子类似下图。
在这里插入图片描述

最大池化max-pooling和平均池化mean-pooling
m0_59959542的博客
12-21 1339
常用池化详解
深度学习（九）——神经网络：最大池化的作用
2401_85325519的博客
06-18 1149
nn.MaxPool2d是在进行图像处理时，Pool layers最常用的函数: 用于设置一个取最大值的窗口，如设置为3，那么会生成一个3×3的窗口: 默认值为kernel_size，步幅，和卷积层中的stride一样: 填充图像，默认填充的值为0: 空洞卷积，即卷积核之间的距离。如卷积核的尺寸为3×3，dilation为1，那么返回一个大小为5×5的卷积核，卷积核每个元素与上下左右的元素之间空一格: 一般用的很少，不做介绍: 默认为False。
深入了解 PyTorch 中的 MaxPool2d 及其池化家族函数
最新发布
阿正的梦工坊
03-13 918
函数的原理解析
「解析」Pytorch 池化层的反向传播 附代码
绿色羽毛
04-12 2490
在深度学习中卷积计算可能是较为头痛的地方，池化层应该是最简单的一种运算，但是当看到池化层反向传播时，整个人都是懵的，之前从没涉及过，在学习的过程中，搜集资料也发现寥寥无几，一方面为了自我学习，另一方面希望给有需求的小伙伴分享下，不要再走弯路，因此整理了这篇文章，希望对大家有帮助！ 1、最大池化层 反向传播 nn.MaxPool2d(kernel_size,stride=None, padding=0, dilation=1, return_indices=False, ceil_.
Pytorch中最大池化层Maxpool的作用说明及实例使用（附代码）
热门推荐
使者大牙ℂypher的博客
03-26 3万+
卷积操作的卷积核是有数据（权重）的，而池化直接计算池化窗口内的原始数据，这个计算过程可以是选择最大值、选择最小值或计算平均值，分别对应：最大池化、最小池化和平均池化。比如，在图像识别的实际使用过程中，要识别一个图像中是否有“行人”，最大池化层就可以缓解“行人”的位置对输出带来的影响，可以把计算更主要地关注在“是否”有“行人”上。另外，由于最大池化能提取出特定窗口的最大数据，无论这个数据在窗口中的原始位置在哪，所以。最大池化可以提取出指定窗口的特征（最大）数据，显著减少了特征图（特征张量的大小），
最大池化层的作用
长飞哥的专栏
12-14 1万+
●Theano中对Max-pooling的解释 Max-pooling is useful in vision for two reasons: 1、By eliminating non-maximal values, it reduces computation for upper layers. 2、It provides a form of translation invariance
池化层MaxPool函数详解及反向传播的公式推导
BrightLamp的博客
11-29 1万+
相关 配套代码, 请参考 : Python和PyTorch对比实现池化层MaxPool函数及反向传播 https://blog.csdn.net/oBrightLamp/article/details/84635308 正文 池化是一种尺寸缩小操作, 可以将大尺寸的图片缩小, 集约特征. 1. 池化层 MaxPool 函数的定义 本文约定矩阵元素的脚标从 0 开始. 当 X 为 m x n 矩阵,...
Educode--卷积层和池化层的反向传播的实现
qq_57409899的博客
05-13 866
第1关：实现卷积层的反向传播 任务描述 本关任务：实现卷积层的反向传播。 相关知识 为了完成本关任务，你需要掌握：卷积层的反向传播。 本实训内容可参考《深度学习入门——基于 Python 的理论与实现》一书中第5章的内容。 卷积层的反向传播 在之前的实训中，我们学习了卷积层的前向传播。我们知道，卷积层的前向传播通常先通过 im2col 操作将输入特征图转化成一个矩阵，其中矩阵的每一行对应于输入特征图在一个卷积窗口的所有通道内的数据，这样，卷积操作就被转化成了矩阵乘法。忽略掉偏置的计算（因为..
Python和PyTorch对比实现池化层MaxPool函数及反向传播
BrightLamp的博客
11-29 9114
相关 原理和详细解释, 请参考 : 池化层MaxPool函数详解及反向传播的公式推导 正文 import torch import numpy as np class MaxPool2D: def __init__(self, kernel_size=(2, 2), stride=2): self.stride = stride self.kernel...
CNN池化层反向传播推导
weixin_45252975的博客
12-05 904
昨天晚上推CNN反向，池化层这块没推明白，不懂为什么meanpool偏导为1/（k*k）,但是上采样却变成了另一种看起来比较简单的方法。 一、明确反向传播的是什么 cost函数对某一参数的偏导，即某一参数发生变化，会对cost产生什么影响。 在已l层变化对cost的影响，我们可以进一步根据链式法则得到l-1层参数对cost的影响。 二、在池化层中 目前，我们已知的是池化后的z(l)变化对cost的影响，想要知道的是池化前的z(l-1)对cost的影响。 z(l-1)通过激活函数，变为a(l-1)，再经过池化
最大值池化层梯度反向传播1
08-03
最大值池化层梯度反向传播1
浅谈pytorch池化maxpool2D注意事项
12-20
除了`padding`，还有其他因素可能影响池化层的使用，如`dilation`（膨胀）可以增加感受野，以及`return_indices`（返回最大值索引）对于反向传播和可视化有用。在实际应用中，应根据具体任务和网络结构灵活调整这些...
Maxpooling的作用
baidu_38634017的博客
06-22 3284
转载自：https://blog.csdn.net/weixin_41513917/article/details/102514739 Max Pooling是什么 在卷积后还会有一个 pooling 的操作。 max pooling 的操作如下图所示：整个图片被不重叠的分割成若干个同样大小的小块（pooling size）。每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出 output。 注意区分m
p19神经网络-最大池化的作用
qq_45583898的博客
06-05 651
在卷积层stride默认为1，在池化层stride默认为kernal_size大小 对于Docs > torch.nn > MaxPool2d中的 ceil_mode – when True, will use ceil instead of floor to compute the output shape参数 当为True时，保留，为False舍去
池化层的反向传播
aopang1115的博客
08-17 213
池化层（pooling）的反向传播是怎么实现的 链接：https://blog.csdn.net/Jason_yyz/article/details/80003271 深度学习笔记（3）——CNN中一些特殊环节的反向传播 链接：https://blog.csdn.net/qq_21190081/article/details/72871704 转载于:https://www...
神经网络中pooling池化层如何参与反向传播？
thequitesunshine007的博客
09-16 1833
池化层pooling操作常见的有平均池化mean pooling和最大池化max pooling，前者取某特征区域的平均值进行输出，而后者则取某特征区域的最大值进行输出，池化层的一般作用是对特征图进行下采样，它本身没有参数权重，计算也简单，但它可达到降维特征、突显特征、减少参数量、减少计算量、增加非线性、防止过拟合及提升模型泛化能力等作用，池化层的前向传播我们都比较好理解，但是其是如何参与反向传播的呢？本文就让我们一起来了解关于池化层的反向传播实现方法吧。 池化层在反向传播时，它是不可导的，...
tf.nn.max_pool
JNing
06-22 3015
(value, ksize, strides, padding, name=None)参数是四个，和卷积很类似： Args Annotation 第一个参数value 需要池化的输入，一般池化层接在卷积层后面，所以输入通常是feature map，依然是[batch, height, width, channels]这样的shape 第二个参数ksize 池化窗口的大小，取一个
复盘：池化层(Pooling)的反向传播过程，平均池化，最大值池化都是如何反向传播的
weixin_46838716的博客
07-16 1331
1）很容易，我们的目标就是梯度总和是不能变的，mean池化的话，直接将梯度均分n份，返回去传 2）max池化的话，需要记录当初池化的位置，梯度回传只传给这个位置 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。...
卷積、池化、反向傳播
02-19
### 卷积神经网络中的卷积 卷积操作是卷积神经网络的核心组成部分之一。通过滑动窗口的方式，在输入数据上应用一组权重（即滤波器），从而提取局部特征[^1]。 对于二维图像处理而言，卷积可以表示为： \[ (I * K)(i, j)=\sum_{m}\sum_{n} I(i+m, j+n)K(m, n) \] 其中 \(I\) 是输入矩阵，\(K\) 表示核函数或过滤器，而星号(*)代表离散卷积运算符。此过程能够有效地捕捉空间上的模式并减少计算复杂度。 ```python import numpy as np def convolve2D(image, kernel): # 获取图片尺寸 img_h, img_w = image.shape[:2] # 获取内核大小 k_size = kernel.shape[0] output_shape = (img_h - k_size + 1, img_w - k_size + 1) result = np.zeros(output_shape) for y in range(img_h - k_size + 1): for x in range(img_w - k_size + 1): patch = image[y:y+k_size,x:x+k_size] result[y][x]=np.sum(patch*kernel) return result ``` ### 池化层的作用及其形式——平均池化 为了降低维度以及防止过拟合现象的发生，通常会在多个卷积层之间加入池化层。最常见的两种方法是非重叠最大值池化(Max Pooling)和平局值池化(Average Pooling)[^3]。这里主要介绍后者的工作机制：它会取一个小区域内所有像素点数值的均值得到新的单个输出单元；这样做不仅减少了后续处理的数据量还保留了一定程度的空间不变性。 ```python from skimage.measure import block_reduce def avg_pool(input_data, pool_size=(2, 2)): pooled_output = block_reduce(input_data, pool_size=pool_size, func=np.mean) return pooled_output ``` ### 反向传播原理与实现细节 在训练阶段，当完成一次完整的前馈之后便进入误差逆传播环节来更新模型参数。具体来说就是利用链式法则沿着整个网络结构逐层传递梯度信息直至最底层，并据此调整各节点对应的权值以最小化损失函数值。针对CNN架构下的特殊之处在于需要考虑不同类型的激活函数、非线性变换等因素的影响[^2]。 假设当前正在优化某一层L，则其权重W_L的变化可由下述公式给出: \[ ΔW^{(L)}=-ηδ^{(L)}A^{(L-1)T}+\alphaΔW^{(L)}_{prev} \] 此处 η 和 α 分别指学习率和动量项系数; δ^(L) 则是从更高层次传回下来的累积误差信号乘以前一时刻该位置处净输入对本层输出求偏导的结果. ```python class ConvLayer: def backward(self, d_out): self.d_weights = signal.correlate2d(self.input.T, d_out, mode='valid') flipped_kernel = np.flipud(np.fliplr(self.weights)) delta_in = signal.convolve2d(d_out, flipped_kernel, mode="full") if hasattr(self.prev_layer,'backward'): self.prev_layer.backward(delta_in) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值