池化层的反向传播

原文:https://blog.csdn.net/qq_21190081/article/details/72871704
Pooling池化操作的反向梯度传播

CNN网络中另外一个不可导的环节就是Pooling池化操作,因为Pooling操作使得feature map的尺寸变化,假如做2×2的池化,假设那么第l+1层的feature map有16个梯度,那么第l层就会有64个梯度,这使得梯度无法对位的进行传播下去。其实解决这个问题的思想也很简单,就是把1个像素的梯度传递给4个像素,但是需要保证传递的loss(或者梯度)总和不变。根据这条原则,mean pooling和max pooling的反向传播也是不同的。

  1. mean pooling

mean pooling的前向传播就是把一个patch中的值求取平均来做pooling,那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层,这样就保证池化前后的梯度(残差)之和保持不变,还是比较理解的,图示如下

在这里插入图片描述mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去,但是这样会造成loss之和变为原来的N倍,网络是会产生***梯度爆炸***的。

  1. max pooling

max pooling也要满足梯度之和不变的原则,max pooling的前向传播是把patch中最大的值传递给后一层,而其他像素的值直接被舍弃掉。那么反向传播也就是把梯度直接传给前一层某一个像素,而其他像素不接受梯度,也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大,也就是max id,这个可以看caffe源码的pooling_layer.cpp,下面是caffe框架max pooling部分的源码

在这里插入图片描述

// If max pooling, we will initialize the vector index part.
if (this->layer_param_.pooling_param().pool() == PoolingParameter_PoolMethod_MAX && top.size() == 1)
{
    max_idx_.Reshape(bottom[0]->num(), channels_, pooled_height_,pooled_width_);
  }

源码中有一个max_idx_的变量,这个变量就是***记录最大值所在位置的***,因为在反向传播中要用到,那么假设前向传播和反向传播的过程就如下图所示

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在深度学习中,Batch Normalization(BN)层和最大池化层反向传播过程是不同的。 对于BN层,反向传播的过程可以通过以下步骤进行: 1. 计算BN层的前向传播:首先,对于每个批次中的样本,计算其均值和方差。然后,使用这些均值和方差对输入数据进行标准化,并将其缩放和平移为输出。 2. 计算BN层的反向传播:在计算BN层的反向传播时,需要考虑到前向传播中标准化和缩放的操作。以下是反向传播的步骤: - 计算关于平移和缩放参数的梯度:通过链式法则,计算损失函数相对于平移参数和缩放参数的梯度。 - 计算关于输入数据的梯度:将平移和缩放参数的梯度乘以对应的标准化和缩放操作的导数,并将它们求和得到输入数据的梯度。 对于最大池化层反向传播的步骤如下: 1. 在前向传播过程中,最大池化层会记录下每个子区域中最大值的位置。 2. 在反向传播过程中,将损失函数关于输出值的梯度传播回来。这时,只有最大值所在的位置上的梯度会被传播,其他位置上的梯度都为零。 3. 最大池化层会将梯度传播到上一层,根据前向传播时记录的最大值位置,将梯度放置在对应的位置上。 这样,BN层和最大池化层就完成了反向传播过程。需要注意的是,不同的深度学习框架可能有不同的实现方式,但这里给出的是一般的反向传播思路。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值