Token Activation Map to Visually Explain Multimodal LLMs

文章主要内容总结

本文聚焦多模态大型语言模型（MLLMs）的可解释性问题，提出了一种名为令牌激活图（Token Activation Map, TAM） 的新方法。与传统视觉模型（如CNN、ViT）仅生成单一输出不同，MLLMs会逐步生成多个令牌（tokens），且每个令牌的生成依赖于前文上下文，这导致上下文令牌会对后续令牌的解释产生冗余激活干扰，而现有方法往往忽略这一问题。

为解决该问题，TAM引入了估计因果推理方法，以减轻上下文干扰，同时提出秩高斯滤波器减少激活噪声。实验表明，TAM在多个数据集（如COCO Caption、OpenPSG）上显著优于现有最先进方法，且能应用于目标定位、故障案例分析、视频可视化、MLLMs视觉对比、模型理解（如颜色、形状、动作等属性）等多种场景。代码已开源（github.com/xmed-lab/TAM）。

创新点

1. 提出TAM方法