【深度学习】全局平均池化

爱吃山竹的开心小迟

已于 2023-10-18 18:29:34 修改

阅读量556

点赞数

分类专栏：深度学习零碎知识专心致志读论文文章标签：深度学习人工智能

于 2023-10-17 20:24:10 首次发布

本文链接：https://blog.csdn.net/delaune/article/details/133892648

版权

专心致志读论文同时被 2 个专栏收录

2 篇文章 0 订阅

订阅专栏

深度学习零碎知识

1 篇文章 0 订阅

订阅专栏

一、全局平均池化

一般情况下，卷积层用于提取二维数据如图片、视频等的特征，针对于具体任务（分类、回归、图像分割）等，卷积层后续会用到不同类型的网络，拿分类问题举例，最简单的方式就是将卷积网络提取出的特征（feature map）输入到softmax全连接层对应不同的类别。首先，这里的feature map是二维多通道的数据结构，类似于三个通道（红黄绿）的彩色图片，也就是这里的feature map具有空间上的信息；其次，在GAP被提出之前，常用的方式是将feature map直接拉平成一维向量（下图左），但是GAP不同，是将每个通道的二维图像做平均，最后也就是每个通道对应一个均值（下图右）。

GAP相较于全连接的优势：

抑制过拟合。直接拉平做全连接层的方式依然保留了大量的空间信息，假设feature map是32个通道的10*10图像，那么拉平就得到了32*10*10的向量，如果是最后一层是对应两类标签，那么这一层就需要3200*2的权重矩阵，而GAP不同，将空间上的信息直接用均值代替，32个通道GAP之后得到的向量都是32的向量，那么最后一层只需要32*2的权重矩阵。相比之下GAP网络参数会更少，而全连接更容易在大量保留下来的空间信息上面过拟合。
可解释的雏形。GAP相比全连接更加自然地加强了类别和feature map之间的联系，（这个类别指的是分类的类别）因此，feature map可以很容易地解释成categories confidence maps。
输入尺寸更加灵活。在第1点的举例里面可以看到feature map经过GAP后的神经网络参数不再与输入图像尺寸的大小有关，也就是输入图像的长宽可以不固定。

但同时GAP也有使训练收敛速度变慢的缺点。

二、可解释性拓展

长期以来，大家都希望可以解释神经网络这个“黑盒”，尤其是深度学习在图像领域大放异彩，解释性也越来越被广泛关注。Class Activation Mapping （CAM）论文发表于2016年CVPR，是针对图像分类问题的一种经典的可解释方法，而其本身也和全局平均池化有千丝万缕的联系。这里先看看CAM的效果，下图第一行是刷牙和砍树的图片，第二行是分类的解释——高亮的区域很好地匹配了刷牙和砍树行为的位置，换句话说，证明神经网络和我们人类在判断这些图片的时候的关注点是一致的！

那么CAM是怎么实现的呢？

举个例子，比如feature map是5个通道，那么经过GAP之后变成了一维向量x，且一个元素对应一个通道，所以x是5×1的向量；然后分类层假如我们要分两类，那么就需要2×5的权重矩阵W，W的第一行和x对应元素相乘并相加（內积），就得到了类别0的概率：

$w_{11}x_1+w_{12}x_2+w_{13}x_3+w_{14}x_4+w_{15}x_5$

同理有类别1的概率（简便起见，图上省略了softmax激活函数，但实际上概率要经过softmax得到。）从上面式子可以看出，W第一行的哪个权重越大，代表这个通道的均值对类别-0结果的贡献/重要性越大，而这个通道的均值又是来自于feature map的对应通道，那么是不是说这个权重也就代表了二维feature map对结果的重要性呢？到这里CAM的核心思想就有了，那么再来看论文原文的图片就非常容易理解了。上面的式子是对GAP之后的均值进行加权得到分类的概率，而CAM是把GAP之前的feature map进行加权得到了分类的解释.