正确的原因是错误的：可解释的 ML 技术能否检测出虚假相关性？

Right for the Wrong Reason: Can Interpretable ML Techniques Detect Spurious Correlations?

摘要

虽然深度神经网络模型提供了无与伦比的分类性能，但它们容易在数据中学习虚假相关性。如果测试数据与训练数据来自相同的分布，则使用性能指标很难检测这种对混淆信息的依赖性。可解释的ML方法，如事后解释或固有的可解释分类器，有望识别错误的模型推理。然而，有好坏参半的证据表明，这些技术中的许多是否真的能够做到这一点。

本文提出了一种严格的评估策略来评估解释技术正确识别虚假相关性的能力。使用这种策略，我们评估了五种事后解释技术和一种固有的可解释方法，以证明它们在胸部 X 射线诊断任务中检测三种人为添加的混杂因素的能力。我们发现，事后技术 SHAP 以及固有的可解释 Attri-Net 提供了最佳性能，可用于可靠地识别错误的模型行为。
代码地址

本文方法

我们在数据集上训练分类器，其中包含三种类型的人为添加的混杂因素，并用箭头突出显示。然后评估了解释技术正确识别对这些混杂因素的依赖的能力（如Attri-Net [24]所示）

评估策略：