cam和grad-cam深度学习特征图可视化，及代码实现

最新推荐文章于 2025-02-28 10:53:02 发布

qxq_sunshine

最新推荐文章于 2025-02-28 10:53:02 发布

阅读量1.4w

点赞数 12

分类专栏：深度学习理解篇

本文链接：https://blog.csdn.net/qxqsunshine/article/details/108020963

版权

文章名称：Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization

该文章提出一种卷积神经网络的解释方法，通过构建热力图（heatmap）的形式，直观的展示神经网络学校到的特征，即关注的地方到底在哪里。CAM为类激活图（class Activateion Mapping）

计算流程为：

将conv层的参数全部冻结，只训练分类器的权重W,卷积的输出为（m,m,c）,然后进过GAP得到一个浓缩为c大小的特征向量，然后特征向量与权重矩阵W点积，再经过sigmoid函数压缩为[0,1]区间的概率。（知乎上写的较好的例子如下：）

CAM 指的是 经过 W 加权的特征图集重叠而成的一个特征图

preview

由于采用迁移学习策略，因而整个模型在训练时，会发生变化的参数只有分类器的权重矩阵 W，因此对于同一张图片，卷积层输出的特征图集始终不变，但分类概率会随着 W 的变化而不断改变。这也就是模型学习的过程，即：到底哪些特征图对于提高分类准确率最有帮助？

使用cam必须要使用GAP，即cam必须要重构模块重新训练。

实现代码：

# -*- coding: utf-8 -*-
'''
使用CAM 将测试结果可视化——————————单张图像
'''
import numpy as np
from keras.models import Model
from keras import activations
from keras import backend as K
import tensorflow as tf
from tensorflow.python.framework import ops
from PIL import Image
import cv2
import utils
from keras.models import Sequential
from keras.layers.core import Lambda

class DefaultConfig():
    model_name = 'fsnet_05'
    train_data_path = '.\\dataset\\train\\'
    val_data_path = '.\\dataset\\test\\'
    checkpoints = '.\\checkpoints\\'
    modelpath = '\\model\\'
    fine_tune_model = '\\model\\'
    normal_si

最低0.47元/天解锁文章