04.池化层——梯度更新

卷积层.

• 由于卷积层在反向传播时梯度计算更复杂，因此首先介绍它。在下面的记号中，我们以 $z$ 代表每一层未经过激活函数输出的结果，$sigma(z)$ 表示激活函数，令$a=\sigma (z)$表示经过激活函数后的输出结果。
• 另外，在数学文献中，$\ast$ 是卷积的标准符号，下面若无特殊说明，均遵循该规定。
• 单个卷积核计算过程示意图如下所示，其通道数为 1
  
  
  
  

池化层

max pooling的前向传播是把patch中最大的值传递给后一层，而其他像素的值直接被舍弃掉。那么反向传播也就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大，也就是max id，这个变量就是记录最大值所在位置的，因为在反向传播中要用到，那么假设前向传播和反向传播的过程就如下图所示 ：
![在这里插入图片描述](https://img-blog.csdnimg.cn/ca5ecf3573be430da8a867b0f76d2461.png

参考1：https://blog.csdn.net/weixin_43702920/article/details/107778563
参考2：https://blog.csdn.net/weixin_44246009/article/details/119379516