AI工程常用技能2.使用Grad-Cam对yolov5模型进行热力图可视化

Jumy_S

已于 2023-10-02 20:52:54 修改

阅读量500

点赞数

文章标签：人工智能 YOLO

于 2023-10-02 20:52:45 首次发布

本文链接：https://blog.csdn.net/Jumy_S/article/details/133500162

版权

本文介绍了如何运用Grad-CAM工具对yolov5模型进行神经网络可视化，以理解模型的可解释性。Grad-CAM通过计算输出特征层和特定类别对特征层梯度的关系，生成类别激活映射图，展示影响预测输出的区域分布。

摘要由CSDN通过智能技术生成

AI工程常用技能2.使用Grad-Cam对yolov5模型进行热力图可视化

Grad-CAM(Class Activation Mapping-类别激活映射图)是非常常见的神经网络可视化的工具，用于探索模型的可解释性

grad-cam的计算，其实就是只需要两个值，一个是输出特征层，另一个是模型最后的某个类别对该特征层的梯度

类别激活映射图是一张图像，表示对预测输出的贡献分布，分数越高的地方表示原始图片对应区域对网络的响应越高、影响越大

论文：https://arxiv.org/abs/1610.02391

Grad-CAM: Visual Explanations from Deep Networks via Gradient-based
Localization

在这里插入图片描述

pip install grad-cam  -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install --upgrade numpy==1.23.5 -i https://pypi.tuna.tsinghua.edu.cn/simple

在这里插入图片描述

# pip install grad-cam -i https://pypi.tuna.tsinghua.edu.cn/simple
import warnings

warnings.filterwarnings('ignore')
warnings.simplefilter('ignore')
import torch, yaml, cv2, os, shutil
import numpy as np

np.random.seed(0)
import matplotlib.pyplot as plt
from tqdm import trange
from PIL import Image
from models.yolo import Model
from utils.general import intersect_dicts
from utils.augmentations import letterbox
from utils.general import xywh2xyxy
from pytorch_grad_cam import GradCAMPlusPlus, GradCAM, XGradCAM
from pytorch_grad_cam.utils.image import show_cam_on_image
from pytorch_grad_cam.activations_and_gradients import ActivationsAndGradients


class yolov5_heatmap:
    def __init__(self, weight, cfg, device, method, layer, backward_type, conf_threshold, genCAMNum):
        device = torch.device(device)
        ckpt = torch.load(weight)
        model_names = ckpt['model'].names
        csd = ckpt['model'].float().state_dict()  # checkpoint state_dict as FP32
        model = Model(cfg, ch=3, nc=len(model_names)).to(device)
        csd =