深度学习之CNN常见考点

一.池化层（pooling）的反向传播是怎么实现的

参考博客：https://blog.csdn.net/qq_21190081/article/details/72871704

在看卷积神经网络的时候，突然想起来池化是会改变特征图的尺寸的，那反向传播是怎么实现的呢。于是搜了一些博客，感觉上面这个博客写得最清晰直观，就从这个博客里面搬了点东西过来作为笔记。

Pooling池化操作的反向梯度传播

CNN网络中另外一个不可导的环节就是Pooling池化操作，因为Pooling操作使得feature map的尺寸变化，假如做2×2的池化，假设那么第l+1层的feature map有16个梯度，那么第l层就会有64个梯度，这使得梯度无法对位的进行传播下去。其实解决这个问题的思想也很简单，就是把1个像素的梯度传递给4个像素，但是需要保证传递的loss（或者梯度）总和不变。根据这条原则，mean pooling和max pooling的反向传播也是不同的。

1、mean pooling

mean pooling的前向传播就是把一个patch中的值求取平均来做pooling，那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层，这样就保证池化前后的梯度（残差）之和保持不变，还是比较理解的，图示如下 ：

mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去，但是这样会造成loss之和变为原来的N倍，网络是会产生梯度爆炸的。

2、max pooling

max pooling也要满足梯度之和不变的原则，max pooling的前向传播是把patch中最大的值传递给后一层，而其他像素的值直接被舍弃掉。那么反向传播也就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大，也就是max id，这个变量就是记录最大值所在位置的，因为在反向传播中要用到，那么假设前向传播和反向传播的过程就如下图所示 ：

 

二、1x1卷积

介绍Inception网络前，先介绍一下其中一个很重要的概念1x1卷积。

初看1x1卷积的概念会觉得很奇怪，这样子每次对一个像素进行卷积有什么用，我们本来不就是想检测局部的特征吗。但是如果理解了通道概念的话，就能很好理解了。

因为，如果说普通的大窗口卷积更注重一个通道内各个特征的互动的话，那么1x1卷积就是只在通道与通道进行卷积运算，加强了通道之间的互动。

这就是第一点，加强了通道与通道之间的交流。用这个就可以只对通道进行一些操作，如用1x1卷积增加通道数，减少通道数，也可以不增不减，但是对之前的通道进行整理。

1x1卷积网络还有一个好处，那就是通过合理运用可以减少整体网络的运算量。

还是来举例子吧，假设有以下一个卷积过程。

正常5x5卷积

那么上面这个过程所需要的运算量大约一亿两千万次。

而如果我们巧妙地利用1x1卷积来对通道进行合理处理的话，像下面这样。

利用1x1卷积

运算量会变得只有大概一千二百万左右，一下子就缩小了十倍。

 

Inception网络的核心概念是，既然在选择CNN架构的时候要为了过滤器的窗口大小考虑半天，那么何不把各个尺寸都用上去，最后再把结果接起来就好了呢（1x1卷积的来源）。

于是就有了下面这样的Inception模块。有用1x1、3x3、5x5各个尺寸的卷积，而且还用到之前讲到的利用1x1卷积减少运算量的技巧。

最后至于整个Inception网络，就像之前残差网络一样，把Inception模块堆叠起来就好了。