YOLOv5 实现 10 种热力图可视化方式教程 | GradCAM XGradCAM ScoreCAM LayerCAM HiResCAM EigenCAM....

wei子

于 2024-09-08 00:18:10 发布

阅读量373

点赞数 8

分类专栏：技术杂谈文章标签： YOLO

本文链接：https://blog.csdn.net/weixin_39818775/article/details/140463943

版权

技术杂谈专栏收录该内容

1 篇文章 0 订阅

订阅专栏

YOLOv5 实现 10 种热力图可视化方式教程

引言

热力图可视化是深度学习模型解释性的一种重要手段，通过它我们可以直观地了解模型在做出预测时关注的图像区域。对于目标检测模型YOLOv5来说，热力图可以帮助我们分析模型对目标的关注程度，以及模型对不同特征的敏感性。本文将详细介绍YOLOv5中10种常见的热力图可视化方法，包括Grad-CAM、XGrad-CAM、Score-CAM、Layer-CAM、HiResCAM、EigenCAM等，并提供相应的代码实现示例。

10种热力图可视化方法介绍

Grad-CAM: 基于梯度计算类激活图，是最经典的热力图生成方法之一。
XGrad-CAM: Grad-CAM的改进版，通过引入梯度加权的方式，提高了热力图的定位精度。
Score-CAM: 基于类别的得分计算类激活图，对噪声具有更强的鲁棒性。
Layer-CAM: 基于特定层的特征图计算类激活图，可以灵活选择不同的层进行分析。
HiResCAM: 通过上采样将低分辨率的特征图恢复到原始图像大小，提高了热力图的分辨率。
EigenCAM: 基于特征图的特征向量进行PCA降维，得到更简洁的热力图。
Grad-CAM++: 对Grad-CAM的进一步改进，通过加权平均的方式，提高了热力图的质量。
Integrated Gradients: 基于积分梯度的方法，可以解释模型对输入的每个特征的贡献。
Guided Backpropagation: 通过引导反向传播，生成更清晰的热力图。
LRP (Layer-wise Relevance Propagation): 基于层级传播的解释方法，可以逐层分析模型的决策过程。

代码实现示例（以PyTorch和Grad-CAM为例）

import torch
import torch.nn as nn
import cv2

def visualize_cam(mask, img):
    heatmap = cv2.applyColorMap(np.uint8(255 * mask), cv2.COLORMAP_JET)
    heatmap = np.float32(heatmap) / 255
    cam = heatmap + np.float32(img) / 255
    cam = cam / np.max(cam)
    cv2.imwrite("cam.jpg", np.uint8(255 * cam))

# 假设model为YOLOv5模型，target_layer为目标层

def forward_pass_on_convolutions(x):
    # ... 在目标层之前的前向传播

def get_gradients(model, x, class_idx):
    # ... 计算梯度

# ... 其他方法的实现

# 示例用法
model.eval()
x = ...  # 输入图像
class_idx = ...  # 目标类别
mask = grad_cam(model, x, class_idx, target_layer)
visualize_cam(mask, x.numpy().transpose(1, 2, 0))

代码结构示例（PyTorch，以Grad-CAM为例）

import torch
import torch.nn as nn
import cv2

def visualize_cam(mask, img):
    heatmap = cv2.applyColorMap(np.uint8(255 * mask), cv2.COLORMAP_JET)
    heatmap = np.float32(heatmap) / 255
    cam = heatmap + np.float32(img) / 255
    cam = cam / np.max(cam)
    cv2.imwrite("cam.jpg", np.uint8(255 * cam))

def forward_pass_on_convolutions(x):
    # 在目标层之前的前向传播

def get_gradients(model, x, class_idx):
    # 计算梯度

def grad_cam(model, x, class_idx, target_layer):
    # 获取目标层的特征图
    conv_output = forward_pass_on_convolutions(x)
    # 计算梯度
    grads = get_gradients(model, x, class_idx)
    # 计算权重
    weights = np.mean(grads, axis=(2, 3))
    # 计算热力图
    cam = np.sum(np.multiply(conv_output, weights[..., np.newaxis, np.newaxis]), axis=1)
    # 归一化
    cam = np.maximum(cam, 0)
    cam = cam / np.max(cam)
    return cam