CAM 学习笔记

本次任务，主要介绍了CAM的论文内容、相关理论和算法，包括：

1. CAM类激活热力图主要对深度学习实现可解释性分析、显著性分析，并能够解决弱监督定位问题，具有潜在的“注意力机制”
2. CAM的计算方法：使用GAP代替全连接层，将权重与最后一层卷积层对应相乘求和，得到CAM热力值
3. 使用GAP代替全连接层的实验效果

CAM 算法是论文《Learning Deep Features for Discriminative Localization》中提出的，作者发现 CNN 网络虽然在训练时可能未提供对象的位置，但是仍然具有很强的定位特征能力，如上图所示。上图是 CAM 运行的效果，可以看到对于刷牙这一类，CNN 能有效地定位到牙刷，而对于锯树，CNN 能有效定位到电锯。

一、方法简介

最后一层卷积层输出的特征图包含 n 个通道，利用该类的权重将特征图的 n 个通道加权求和，再映射到原始图片上即可得到不同区域的重要程度。这里是由于特征图和原始图尺寸不同，所以要映射，CAM 直接使用 resize 将特征图缩放到和原始图一样的大小。接下来介绍 CAM 的一些公式。

 

对于一幅图像，可以用下面的公式计算出其属于类别 c 的得分，其中 k 表示最后一个卷积层的通道，xy 表示特征图的坐标，f 表示特征图，w 表示 Softmax 的权重:

对于类别 c，我们可以得到图片各个区域重要性的映射图，公式如下，即将特征图加权求和得到:

 

总结：

• Deconvnet的方法: 包括反池化, 反激活和反卷积, 重点介绍了反池化的技巧
• 卷积可视化: 包括不同层的可视化
• 局部遮挡敏感性和相关性分析: 通过计算海明距离的求和值进行比较, 说明深度学习模型隐式定义了图片中局部位置的相关性
• 对比实验: 对模型进行改进, 并在不同数据集的泛化分析