卷积神经网络模型可视化生成热力图

使用Grad-CAM++[51]方法对训练好的卷积神经网络模型进行可视化操作生成热力图以查看响应区域。可视化结果如图3.8所示。

其中baseline和 ATN可视化需要的权重来自于分类结果对最后一层卷积层提取的特征进行求导。图3.8中共有4组图像，每组图像从左往右依次为原图，根据baseline权重生成的热力图和根据本章提出的ATN网络权重生成的热力图。热力图的红色越深，则表示该部分的权重越高。从生成的热力图可以看到，baseline 生成的热力图中，虽然在人体区域都有响应，但是背景噪声部分的响应权重也很高，为神经网络的分类引入了噪声。而本文提出的注意力方法生成的热力图响应都在行人身体上，而且都是较为显著性的区域，证明了本文提出方法能够帮助卷积神经网络在训练的过程中学习到显著性区域和更有区分度的特征。
[51]Chattopadhay A，Sarkar A, Howlader P, et al. Grad-cam++: Generalized gradient-based visual explanations for deep convolutional networks[C]V/IEEE Winter Conference onApplications of Computer Vision, 2018:839-847.