深度学习可解释性-可视化技术

参考资料：https://www.zhihu.com/search?type=content&q=SmoothGrad

CAM

CAM是什么？

• CAM全称Class Activation Mapping，即类别激活映射图，也被称为类别热力图、显著性图等。是一张和原始图片等同大小图，该图片上每个位置的像素取值范围从0到1，一般用0到255的灰度图表示。可以理解为对预测输出的贡献分布，分数越高的地方表示原始图片对应区域对网络的响应越高、贡献越大。
• 可视化的时候，一般利用热力图和原图叠加的形式呈现。

为什么用CAM？

• 有助于理解和分析神经网络的工作原理及决策过程，进而去更好地选择或设计网络。例如对于分类网络，如果参考CAM相当于除了分类accuracy以外，对网络又提出了更高的要求：不但要求预测准确率高，还需要网络提取到我们需要的特征。
• 利用可视化的信息引导网络更好的学习，例如可以利用CAM信息通过"擦除"或"“裁剪”"的方式对数据进行增强。
• 利用CAM作为原始的种子，进行弱监督语义分割或弱监督定位。既然CAM能够cover到目标物体，所以可以仅利用分类标注来完成语义分割或目标检测任务，极大程度上降低了标注的工作量，但这对CAM的要求更高。

怎么用CAM？

• 卷积神经网络的卷