CVPR2024 |论视觉Transformer解释的忠实性

最新推荐文章于 2025-05-07 17:16:48 发布

四口鲸鱼爱吃盐

最新推荐文章于 2025-05-07 17:16:48 发布

阅读量775

点赞数 29

分类专栏：文献阅读文章标签： transformer 深度学习人工智能

本文链接：https://blog.csdn.net/qq_60090693/article/details/147727335

版权

文献阅读专栏收录该内容

127 篇文章

订阅专栏

On the Faithfulness of Vision Transformer Explanations

摘要-Abstract
引言-Introduction
相关工作-Related Work
方法-Methodology
实验设置-Experimental Setup
实验结果-Experimental Results
结论-Conclusion

在这里插入图片描述

论文链接

本文 “On the Faithfulness of Vision Transformer Explanations” 提出了一种名为 Salience-guided Faithfulness Coefficient（SaCo）的新评估指标，用于评估视觉 Transformer 解释方法的忠实性。现有指标在评估忠实性方面存在不足，而 SaCo 通过对不同像素子集的影响进行显式比较和对显著分数差异的量化，更全面地评估解释的忠实性。实验表明，当前的解释方法在忠实性方面表现一般，基于注意力的方法通常表现更好，且梯度信息和多层聚合可显著提升基于注意力的解释的忠实性。

摘要-Abstract

To interpret Vision Transformers, post-hoc explanations assign salience scores to input pixels, providing humanunderstandable heatmaps. However, whether these interpretations reflect true rationales behind the model’s output is still underexplored. To address this gap, we study the faithfulness criterion of explanations: the assigned salience scores should represent the influence of the corresponding input pixels on the model’s predictions. To evaluate faithfulness, we introduce Salience-guided Faithfulness Coefficient (SaCo), a novel evaluation metric leveraging essential information of salience distribution. Specifically, we conduct pair-wise comparisons among distinct pixel groups and then aggregate the differences in their salience scores, resulting in a coefficient that indicates the explanation’s degree of faithfulness. Our explorations reveal that current metrics struggle to differentiate between advanced explanation methods and Random Attribution, thereby failing to capture the faithfulness property. In contrast, our proposed SaCo offers a reliable faithfulness measurement, establishing a robust metric for interpretations. Furthermore, our SaCo demonstrates that the use of gradient and multilayer aggregation can markedly enhance the faithfulness of attention-based explanation, shedding light on potential paths for advancing Vision Transformer explainability.

为了解释视觉Transformer，事后解释方法会为输入像素分配显著度分数，生成人类可理解的热图。然而，这些解释是否反映了模型输出背后的真实推理过程，这一点仍未得到充分研究。为了填补这一空白，我们研究了解释的忠实性标准：所分配的显著度分数应代表相应输入像素对模型预测的影响。为了评估忠实性，我们引入了基于显著度引导的忠实性系数（SaCo），这是一种利用显著度分布关键信息的全新评估指标。具体而言，我们对不同的像素组进行两两比较，然后汇总它们显著度分数的差异，从而得出一个表明解释忠实程度的系数。我们的研究发现，当前的评估指标难以区分先进的解释方法和随机归因，因此无法衡量忠实性。相比之下，我们提出的SaCo能够提供可靠的忠实性度量，为解释建立了一个稳健的评估指标。此外，我们的SaCo表明，使用梯度和多层聚合可以显著提高基于注意力的解释的忠实性，为推进视觉Transformer的可解释性指明了潜在途径。

引言-Introduction

这部分内容主要阐述了研究视觉Transformer可解释性的背景和动机，指出当前解释方法在忠实度评估方面存在不足，进而提出了新的评估指标SaCo，并说明了研究的主要贡献，具体内容如下：

研究背景：Transformer在计算机视觉领域应用广泛，其黑箱性质亟待解释，但传统的后验解释方法主要针对MLP和CNN设计，难以直接适用于视觉Transformer。为应对这一挑战，一系列针对视觉Transformer的解释方法应运而生，这些方法利用注意力机制，通过为输入图像块提取的标记估计显著度分数，生成符合人类直觉的热图。
现有问题：近期研究指出，评估这些解释能否准确反映Transformer模型的真实推理过程至关重要，这一属性被称为忠实度。目前常用的消融方法通过扰动解释方法认定的重要或不重要像素，观察模型精度变化来评估解释质量，但这类策略普遍忽视了对忠实度的恰当评估。现有评估指标依赖累积扰动，未考虑显著度分数分布中的信息，无法明确比较不同显著度输入像素的影响，也难以量化显著度分数差异以反映其预期影响差异，导致无法有效评估解释方法区分不同像素重要性的能力，无法验证忠实度的核心假设，可能产生不可靠的评估结果。
研究内容：提出一种全新的评估框架——基于显著度引导的忠实度系数（SaCo），通过对不同显著度分数的像素子集进行统计分析，比较它们对模型预测的影响，进而分析解释方法与模型行为的契合程度。该指标能有效测试解释方法的核心假设有效性，通过明确比较不同像素并捕捉其预期影响差异，为视觉Transformer解释的忠实度评估提供更可靠的方法。
研究贡献：开发了新评估指标SaCo，用于评估解释对忠实度核心假设的遵循程度，实验表明SaCo能有效评估显著度分数与模型预期影响的关联；通过实验证明SaCo能够区分有意义的解释和随机归因，为评估设定了有用且稳健的基准；探究了当前基于注意力的解释方法中影响忠实度的设计因素，强调了梯度信息和聚合规则的重要作用，为未来视觉Transformer可解释性方法的改进提供了方向。

在这里插入图片描述
图1. 两种扰动方式的解释结果及示意图：累积扰动和我们的SaCo扰动。以往的指标对像素子集进行累积扰动。相比之下，SaCo对它们进行单独扰动，以便直接比较其影响。

方法-Methodology

该部分详细介绍了用于评估视觉Transformer解释方法忠实度的SaCo（Salience-guided Faithfulness Coefficient）的具体计算方法，通过对输入像素的处理、构建相关指标以及基于特定不等式的评估方式，最终得出一个表示解释忠实度的系数，具体内容如下：

问题引入与目标设定：在图像分类任务中，后验解释生成的显著图中各像素值应反映其对模型输出的贡献，但这些解释结果的可靠性存疑，因此需要评估其忠实度。评估旨在判断显著度分数差异能在多大程度上体现对模型置信度影响的变化。
像素子集划分与相关计算：将输入图像的像素依据估计的显著度重新排序，并划分为(K)个大小相等的像素子集(G_{1}, G_{2}, \cdots, G_{K}) 。定义像素子集的显著度为(s(G_{i})=\sum_{p \in G_{i}} M(x, \hat{y}){p})，其中(M(x, \hat{y}))是显著图。通过将子集中的像素替换为样本均值，观察对模型置信度的影响，用(\nabla pred\left(x, G{i}\right)=p(\hat{y}(x) | x)-p\left(\hat{y}(x) | R p\left(x, G_{i}\right)\right))来表示模型预测的变化，(R p(x, G_{i}))是扰动后的图像。
评估准则与计算过程：SaCo的基本原理是，显著度更高的子集(G_{i})对模型的影响应大于显著度低得多的子集(G_{j}) ，即若(s(G_{i}) \geq s(G_{j})) ，期望(\nabla pred\left(x, G_{i}\right) \geq \nabla pred\left(x, G_{j}\right)) 成立。受Kendall τ统计量启发，分析所有可能的(G_{i})和(G_{j})对，根据上述不等式的满足情况进行评估。若不等式成立，子集间显著度差异(s(G_{i}) - s(G_{j}))对评估结果有正向贡献；若不成立，则有负向贡献。经过一系列计算步骤（如算法1所示），最终得到一个在([-1, 1])范围内的忠实度系数(F) 。(F)的符号表示相关性方向，绝对值定量衡量相关程度。

在这里插入图片描述

实验设置-Experimental Setup

该部分详细介绍了实验设置，包括实验使用的数据集、模型、解释方法以及评估指标，具体内容如下：

数据集和模型：选用三个基准图像数据集，即CIFAR - 10、CIFAR - 100和ImageNet 2012，相关数据规模、类别数量和图像分辨率等详细信息见附录。为确保评估可靠性，采用了三个在视觉Transformer领域广泛应用的模型：ViT - B、ViT - L和DeiT - B。这些模型将图像划分为不重叠的16×16的补丁，展平后处理成令牌序列，并添加特殊令牌[CLS]用于分类。
解释方法：研究了10种具有代表性的后验解释方法，涵盖基于梯度、基于归因和基于注意力的三类。基于梯度的方法选择了Integrated Gradients和Grad - CAM；基于归因的方法选取了LRP、Partial LRP、Conservative LRP和Transformer Attribution；基于注意力的方法采用了Raw Attention、Rollout、Transformer - MM和ATTCAT。这些方法在可解释性文献中得到广泛认可，且与所选用的视觉Transformer模型兼容，具体技术细节在附录中给出。
评估指标：将提出的SaCo与现有的广泛采用的评估指标进行比较以验证其可靠性。这些现有指标包括：
- Area Under the Curve (AUC)：通过逐渐按10%的增量（从0%到100%）移除基于估计显著度分数的输入像素，生成新数据，评估模型在这些扰动图像上的准确率，进而计算AUC，AUC越低表示解释效果越好。
- Area Over the Perturbation Curve (AOPC)：该指标量化扰动后预测标签的输出概率变化，AOPC越高解释效果越好。
- Log - odds score (LOdds)：用于评估被认为重要的像素是否足以维持模型的预测，通过逐渐移除基于显著度分数的前0%、10%、…、90%、100%的像素进行衡量，采用对数尺度，LOdds越低解释效果越好。
- Comprehensiveness (Comp.)：衡量具有较低显著度的像素对模型预测的可替代性，通过累积移除最不重要的0%、10%、…、90%、100%的像素进行评估，Comprehensiveness越低解释效果越好。

实验结果-Experimental Results

这部分主要展示了基于SaCo指标的实验结果，对比分析了现有评估指标，验证了SaCo的有效性，并探究了影响解释方法忠实度的因素，具体如下：

评估指标间的相互关系：通过对不同评估指标的相关性分析，发现SaCo与现有指标（AUC、AOPC、LOdds、Comprehensiveness）的相关性较低，分数范围在0.18 - 0.22之间，而现有指标之间的平均相关性较高（0.4764）。这表明SaCo评估的是与现有指标互补的方面，即解释的忠实度核心假设，而现有指标在评估时缺乏对忠实度的考量，且倾向于评估相似或重叠的方面（主要是渐进式像素移除的效果）。

图2. 基于我们的SaCo与现有指标的样本排名相关性。
评估随机归因
- 案例分析：以ViT - B模型和ImageNet样本为例，对比SaCo和AOPC对Transformer Attribution、Raw Attention和Random Attribution三种解释方法的评估。AOPC采用累积像素扰动，未考虑显著值与实际影响的对齐，导致三种方法的AOPC分数都较高且无法区分优劣。而SaCo直接评估单个像素子集的影响并衡量其与显著度分布的一致性，Transformer Attribution的像素子集影响与显著度分数分布匹配度高，SaCo得分高；Raw Attention部分子集对模型影响小，SaCo得分降低；Random Attribution的子集影响变化小，SaCo得分接近零，体现了SaCo能有效区分解释方法的优劣。
  
  图3. 对预测类别“红腹灰雀”的三种解释、显著度分数分布、扰动导致的模型置信度变化，以及最终的SaCo和AOPC分数的示意图。
- 大规模实验：在CIFAR - 10、CIFAR - 100和ImageNet数据集上的实验表明，SaCo能将Random Attribution的得分稳定评估在接近零，而大多数解释方法在SaCo评估下有正得分，证明了SaCo能设定可靠的基准。与之对比，现有指标对Random Attribution的评估不一致，甚至出现Random Attribution在部分指标上性能优于一些先进方法的情况，且现有指标对累积扰动的移除顺序敏感，而SaCo通过直接比较不同显著度分数的像素子集避免了这种不一致性。
当前解释方法的评估：使用SaCo评估现有解释方法在视觉Transformer模型和数据集上的表现，发现所有解释方法的得分都未达最优，表现一般，这表明需要深入研究解释方法以更准确地描述模型推理过程并符合忠实度核心假设。在所有评估的解释方法中，基于注意力的方法总体表现较好，但Raw Attention表现明显较差，这使得研究人员假设基于注意力的解释方法在结合辅助信息（如梯度和跨层整合）时才能有更优表现。
解释方法设计的影响：对基于注意力的解释方法进行消融实验，研究聚合规则和梯度信息对忠实度的影响。实验结果表明，梯度信息的融入能显著提升忠实度分数，仅考虑最后一层时引入梯度可使评估结果提升约106%，在多层聚合时也有86%的提升；多层聚合虽影响小于梯度信息，但也对结果有积极贡献，且不受是否使用梯度的影响。这证实了梯度和聚合规则对视觉Transformer解释的重要性，且前者影响更大，为改进解释方法提供了方向，同时也体现了SaCo捕捉忠实度属性的能力。

图4. 先进解释方法和随机归因（红色）的评估结果。三张图分别展示了在CIFAR-10（左图）、CIFAR-100（中图）和ImageNet（右图）上的结果。各轴上的值均经过重新缩放，因此离中心越远表示性能越优。补充材料中提供了放大图，以便更清晰地查看。

表1. 基于注意力的解释方法的消融研究。
探索SaCo中的影响因素
- 像素子集数量（K）：研究不同K值对现有解释方法性能的影响，发现随着K值增加，大多数方法的SaCo分数略有下降，其中Partial LRP、Transformer Attribution和Transformer - MM下降更明显，表明这些方法在更细粒度的评估下难以维持忠实度；而Integrated Gradients和ATTCAT在不同K值下表现相对稳定，说明其对像素子集划分的粒度更具鲁棒性，强调了选择合适K值的重要性。
  
  表2. 不同K值下当前解释方法在我们的SaCo指标上的性能表现。结果是在ImageNet [38]数据集上的三种视觉Transformer模型上的平均值。
- 显著度分数的度量方式：在SaCo中使用分数差 $\leftarrow s(G_{i})-s(G_{j})$ 量化期望的满足或违反程度，若采用分数比 $\leftarrow \frac{s(G_{i})}{s(G_{j})}$ 虽能捕捉像素子集间显著度的相对大小，但会违反尺度不变性。实际中解释结果常被归一化到[0, 1]区间，这会使分数比在 $s(G_{j})$ 接近零时出现极高或无穷大的比值，不利于不同方法解释结果的比较，而SaCo设计的分数差度量方式具有尺度不变性，能确保更稳定可靠的评估。

结论-Conclusion

这部分内容总结了研究成果，强调了SaCo指标的优势、研究发现的重要结论，以及对未来视觉Transformer可解释性研究的推动作用，具体如下：

SaCo指标的优势：提出了SaCo这一全新的忠实度评估指标，它通过基于显著度引导对像素子集进行比较，考量它们对模型预测的不同贡献，为评估视觉Transformer解释的忠实度提供了更可靠的基准。
研究的重要发现：相关性分析显示，现有评估指标在评估时存在不足，它们捕捉的方面有重叠且未充分考虑忠实度，而SaCo能弥补这一缺陷；与现有指标不同，SaCo能识别出随机归因完全缺乏有意义信息，且评估结果不受像素移除顺序的影响，具有一致性；基于注意力的解释方法通常具有更高的忠实度，并且通过结合梯度信息和多层聚合，其性能可进一步提升。
对未来研究的推动：本研究对视觉Transformer解释的忠实度进行了全面评估，为后续关于可解释性的研究提供了有价值的参考，有望激励更多相关研究，推动视觉Transformer可解释性领域的发展。