池化层反向传播公式推导

重点

• 根据不同类型,上采用上层反向传入的梯度信息

池化层反向传播公式推导

池化层在深度学习网络架构中的作用包括:
* 减少计算量
减少特征图尺寸,减少后面的层的计算量

• 提高多尺度信息
  如果存在多个池化层,就相当于网络中构造了一个多尺度特征金字塔,多尺度金字塔有利于提高检测/识别的稳定性

上述是池化层的优势,但是随着研究的深入,池化层的劣势也逐渐被发现,比如有实验发现”均值池化不利于网络的收敛”,至于网络稳定性的问题,也有文献怀疑resnet这之类加深网络结构的优化会降低网络对目标位置误差的鲁棒性,池化带来的优势被抵消了不少,感觉是一个鸡肋般的层.

不论如何,池化层目前还是被广泛使用的,本文主要说明池化层如何进行反向误差传播的.

BP算法的具体推导可以参考BP反向传播公式推导,其中推导了梯度信息从$k$层传递到$k-1$层的公式如下:

δk−1i=δk