RNN史上最强教学 episode3
CAM:最后卷基层的输出feature map和decision有什么关系?我们可以通过CAM找到神经网络关注的区域,feature maps*weights = 关注区域(下面热度图)
CAM和传统FC+output的优缺点对比:
CAM需要通过将热度图进行unsampling,否则和原图片的resolution不同(还原成原图像resolution),底层的热度图的像素比较低(因为feature map的长宽小),但是如果使用了unsampling就会使得热度图变得vague。
Grad-CAM CAM扩展:如何在不去掉FC+output层的情况下,完成CAM的功能?
对每一个channel的每一个ij位置求梯度,然后求平均作为weight(和之前CAM的weight功能一样),用法一样,同样也能找到关注信息,同时他可以对任意一层的feature map进行CAM操作。
同样可以将结果和热度图进行一个乘法(交集)作为新的输入,使得网络着重于关键部分,提高准确率。
上面的方法只能寻找关注的重点,但是我们想要知道神经网络层其关注的更高层的语义信息,因此有了下面的方法。