论文阅读笔记-Evaluating Explanation Methods for Deep Learning in Security-CSDN博客

本文链接：https://blog.csdn.net/LUMOS_77/article/details/138090200

本文详细介绍了面向安全领域的模型可解释性（XAI）评价标准，包括通用指标（如描述准确性、描述稀疏性）和安全特有指标（如完整性、稳定性、效率和鲁棒性）。作者通过实例展示了如何量化评估不同解释方法，并强调了这些标准在实际应用中的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

前言
4. Evaluation Criteria
总结

在这里插入图片描述

前言

出处： Warnecke, Alexander, et al. “Evaluating explanation methods for deep learning in security.” 2020 IEEE european symposium on security and privacy (EuroS&P). IEEE, 2020.
代码资源： https://github.com/alewarne/explain-mlsec
一句话说明： 这篇论文提出了多个面向安全领域的模型可解释方法评价标准，其提出的指标被多篇安全领域的XAI工作引用，如xNIDS和INSOMNIA等

4. Evaluation Criteria

本文将安全领域的XAI评价指标分为两大类：通用指标General Criteria和安全领域专用的Security Criteria。在正式介绍各指标之前，本节首先解决了这样一个问题，来表明提出统一的评估标准的重要性。

即，所评估的方法是否会提供不同的解释结果？这个问题之所以重要，是因为如果不同方法产生的结果是一样的，比较的标准就不那么重要了，在实践中可以选择任何合适的方法。
所以，为了回答这一问题，本节首先提出一个叫做交叉点大小intersection size的计算指标，用于衡量不同解释方法的相似性。计算方法如下：
交叉点大小指标：衡量不同解释方法的相似性
结果如下图所示。可以看到，不同解释方法所发现的特征并不一致，因此，这些方法不能简单地互换，并且需要可测量的评估标准。