池化层(pooling)的反向传播是怎么实现的

神经网络 专栏收录该内容
2 篇文章 0 订阅
在看卷积神经网络的时候,突然想起来池化是会改变特征图的尺寸的,那反向传播是怎么实现的呢。于是搜了一些博客,感觉上面这个博客写得最清晰直观,就从这个博客里面搬了点东西过来作为笔记。
Pooling池化操作的反向梯度传播
CNN网络中另外一个不可导的环节就是Pooling池化操作,因为Pooling操作使得feature map的尺寸变化,假如做2×2的池化,假设那么第l+1层的feature map有16个梯度,那么第l层就会有64个梯度,这使得梯度无法对位的进行传播下去。其实解决这个问题的思想也很简单,就是把1个像素的梯度传递给4个像素,但是 需要保证传递的loss(或者梯度)总和不变 。根据这条原则,mean pooling和max pooling的反向传播也是不同的。
1、mean pooling
mean pooling的前向传播就是把一个patch中的值求取平均来做pooling,那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层,这样就保证池化前后的梯度(残差)之和保持不变,还是比较理解的,图示如下 :

mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去,但是这样会造成loss之和变为原来的N倍,网络是会产生梯度爆炸的。
2、max pooling
max pooling也要满足梯度之和不变的原则 ,max pooling的前向传播是把patch中最大的值传递给后一层,而其他像素的值直接被舍弃掉。那么反向传播也就是 把梯度直接传给前一层某一个像素,而其他像素不接受梯度,也就是为0 。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大,也就是max id ,这个变量就是记录最大值所在位置的,因为在反向传播中要用到,那么假设前向传播和反向传播的过程就如下图所示 :


<h3><span style="color: #3598db;">【为什么要学习这门课程】</span></h3> <p style="font-size: 16px;">深度学习框架如TensorFlow和Pytorch掩盖了深度学习底层实现方法,那能否能用Python代码从零实现来学习深度学习原理呢?</p> <p style="font-size: 16px;">本课程就为大家提供了这个可能,有助于深刻理解深度学习原理。</p> <p style="font-size: 16px;"><strong><span style="color: #ba372a;">左手原理、右手代码,双管齐下!</span></strong></p> <p style="font-size: 16px;">本课程详细讲解深度学习原理并进行Python代码实现深度学习网络。课程内容涵盖感知机、多层感知机、卷积神经网络、循环神经网络,并使用Python 3及Numpy、Matplotlib从零实现上述神经网络。本课程还讲述了神经网络的训练方法与实践技巧,且开展了代码实践演示。课程对于核心内容讲解深入细致,如基于计算图理解反向传播算法,并用数学公式推导反向传播算法;另外还讲述了卷积加速方法im2col。</p> <p><span style="color: #3598db;"><strong>【课程收获】</strong></span></p> <p style="font-size: 16px;">本课程力求使学员通过深度学习原理、算法公式及Python代码的对照学习,摆脱框架而掌握深度学习底层实现原理与方法。</p> <p style="font-size: 16px;">本课程将给学员分享深度学习的Python实现代码。课程代码通过Jupyter Notebook演示,可在Windows、ubuntu等系统上运行,且不需GPU支持。</p> <h3 class="MsoNormal" align="left"><span style="color: #3598db;">【优惠说明】</span></h3> <p align="left"><strong><span style="color: #ba372a;"><span lang="EN-US"> </span>课程正在优惠中!</span></strong></p> <p> </p> <p class="MsoNormal" align="left"><span lang="EN-US"> </span>备注:购课后可加入白勇老师课程学习交流<span lang="EN-US">QQ</span>群:<span lang="EN-US">957519975</span></p> <h3><span style="color: #3598db;">【相关课程】</span></h3> <p style="font-size: 16px;">学习本课程的前提是会使用Python语言以及Numpy和Matplotlib库。</p> <p>相关课程链接如下:</p> <p>《Python编程的术与道:Python语言入门》https://edu.csdn.net/course/detail/27845</p> <p>《玩转Numpy计算库》https://edu.csdn.net/lecturer/board/28656</p> <p>《玩转Matplotlib数据绘图库》https://edu.csdn.net/lecturer/board/28720</p> <h3><strong><span style="color: #3598db;">【课程内容导图及特色】</span></strong></h3> <p style="font-size: 16px;"><img src="https://img-bss.csdn.net/202002061409525148.jpg" alt="" /></p> <p style="font-size: 16px;"><img src="https://img-bss.csdn.net/202002061410073901.jpg" alt="" /></p>
©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值