DAY 47 注意力热图可视化
昨天代码中注意力热图的部分顺移至今天
知识点回顾:
热力图
作业:对比不同卷积层热图可视化的结果
前面代码看前一天,这里是不同卷积层可视化注意力热图的代码。
#对比不同卷积层热图可视化的结果
import torch
import numpy as np
import matplotlib.pyplot as plt
from scipy.ndimage import zoom
def visualize_multi_layer_attention(model, test_loader, device, class_names, num_samples=3):
"""
可视化模型不同卷积层的注意力热力图,对比浅层和深层的特征关注区域
Args:
model: 已加载的PyTorch模型
test_loader: 测试数据加载器
device: 计算设备 (cuda/cpu)
class_names: 类别名称列表
num_samples: 可视化样本数
"""
model.eval()
# 定义需要可视化的卷积层名称(根据模型结构修改)
target_layers = ['conv1', 'conv2', 'conv3'] # 示例:浅层->中层->深层
with torch.no_grad():
for i, (images, labels) in enumerate(test_loader):
if i >= num_samples:
break
images, labels = images.to(device), labels.to(device)
# 存储各层的激活图
layer_activations = {name: [] for name in target_layers}
# 注册钩子函数
hooks = []
for name, layer in model.named_modules():
if name in target_layers:
def hook(module, input, output, name=name):
layer_activations[name].append(output.cpu())
hooks.append(layer.register_forward_hook(hook))
# 前向传播
outputs = model(images)
# 移除钩子
for hook in hooks:
hook.remove()
# 获取预测结果
_, predicted = torch.max(outputs, 1)
# 反标准化原始图像
img = images[0].cpu().permute(1, 2, 0).numpy()
img = img * np.array([0.2023, 0.1994, 0.2010]) + np.array([0.4914, 0.4822, 0.4465])
img = np.clip(img, 0, 1)
# 创建对比图
fig, axes = plt.subplots(len(target_layers)+1, 3, figsize=(15, 5*(len(target_layers)+1)))
fig.suptitle(
f"真实标签: {class_names[labels[0]]} | 预测: {class_names[predicted[0]]}\n"
"不同卷积层的注意力热力图对比",
fontsize=14
)
# 显示原始图像
for j in range(3):
axes[0, j].imshow(img)
axes[0, j].set_title('原始图像' if j==1 else '')
axes[0, j].axis('off')
# 显示各层热力图
for k, layer_name in enumerate(target_layers, start=1):
# 获取该层的特征图(第一个样本)
feature_map = layer_activations[layer_name][0][0] # shape: [C, H, W]
# 选择最具代表性的3个通道(按平均激活强度排序)
channel_weights = torch.mean(feature_map, dim=(1, 2))
top3_channels = torch.argsort(channel_weights, descending=True)[:3]
# 可视化每个通道
for j, channel_idx in enumerate(top3_channels):
# 获取单通道热力图并归一化
heatmap = feature_map[channel_idx].numpy()
heatmap = (heatmap - heatmap.min()) / (heatmap.max() - heatmap.min() + 1e-8)
# 调整热力图尺寸匹配输入图像
h_ratio = img.shape[0] / heatmap.shape[0]
w_ratio = img.shape[1] / heatmap.shape[1]
heatmap = zoom(heatmap, (h_ratio, w_ratio))
# 绘制叠加图
axes[k, j].imshow(img)
axes[k, j].imshow(heatmap, alpha=0.5, cmap='jet')
axes[k, j].set_title(
f"{layer_name} 通道 {channel_idx}\n"
f"均值: {channel_weights[channel_idx]:.2f}"
)
axes[k, j].axis('off')
plt.tight_layout()
plt.show()
# 使用示例
visualize_multi_layer_attention(model, test_loader, device, class_names, num_samples=3)
