TEST 第一篇

深度学习可解释性综述 陈冲

1、内在可解释模型

2、基于归因的方法

        ２．１ 基于反向传播的方法

                可看：1、Ｓｉｍｏｎｙａｎ等［２６］提出的显著性映射（Ｓａｌｉｅｎｃｙｍａｓ）方法，［２６］ＳＩＭＯＮＹＡＮ Ｋ，ＶＥＤＡＬＤＩ Ａ，ＺＩＳＳＥＲＭＡＮ Ａ．Ｄｅｅｐ ｉｎｓｉｄｅ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓ：Ｖｉｓｕａｌｉｓｉｎｇ ｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌｓ ａｎｄｓａｌｉｅｎｃｙｍａｐｓ［Ｊ］．ａｒＸｉｖ：１３１２．６０３４，２０１３．

1. Ｓｈｒｉｋｕｍａｒ 等［２７］提出的输入 Ｘ梯度方 法（ＩｎｐｕｔＸ Ｇｒａｄｉｅｎｔ）扩 展 了 显 著 性方法，［２７］ＳＨＲＩＫＵＭＡＲＡ，ＧＲＥＥＮＳＩＤＥＰ，ＳＨＣＨＥＲＢＩＮＡＡ，ｅｔａｌ．Ｎｏｔ ｊｕｓｔａｂｌａｃｋｂｏｘ：Ｌｅａｒｎｉｎｇ ｉｍｐｏｒｔａｎｔ ｆｅａｔｕｒｅｓ ｔｈｒｏｕｇｈ ｐｒｏｐａｇａｔｉｎｇ ａｃｔｉｖａｔｉｏｎ ｄｉｆｆｅｒｅｎｃｅｓ［Ｊ］．ａｒＸｉｖ：１６０５．０１７１３，２０１６．
2. 反卷积（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）主 要 用 在 ＣＮＮ 的 解 释 中。ＺＦＮｅｔ［２８］在反向传播过程中将负梯度设置为零生成特征图，然后在 ＡｌｅｘＮｅｔ［２９］中的５个卷积层上进行反卷积和特征可视化，从而实现解释的目的。［２８］ＺＥＩＬＥＲ Ｍ Ｄ，ＦＥＲＧＵＳＲ．Ｖｉｓｕａｌｉｚｉｎｇａｎｄｕｎｄｅｒｓｔａｎｄｉｎｇｃｏｎ－ ｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓ［Ｃ］∥Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，２０１４：８１８－８３３．

［２９］ＫＲＩＺＨＥＶＳＫＹ Ａ，ＳＵＴＳＫＥＶＥＲ Ｉ，ＨＩＮＴＯＮ Ｇ Ｅ．Ｉｍａｇｅｎｅｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｊ］．Ｃｏｍ－ ｍｕｎｉｃａｔｉｏｎｓｏｆｔｈｅＡＣＭ，２０１７，６０（６）：８４－９

4、Ｓｐｒｉｎｇｅｎｂｅｒｇ等［３０］提 出 的 引 导 反

向传播（ＧｕｉｄｅｄＢａｃｋｐｒｏｐａｇａｔｉｏｎ）方法是对反卷积方法的改进，它的工作原理是计算输出ｆｃ（ｘ）对输入ｘ的梯 度，并 且 为了找出图片中的最大激活特征，其在反向传播过程中将负梯度设置为零。

Ｓｕｎｄａｒａｒａｊａｎ等［３１］提出的积分梯度（ＩｎｔｅｇｒａｔｅｄＧｒａｄｉｅｎｔｓ，ＩＧ）方法

平滑梯度（ＳｍｏｏｔｈＧｒａｄ，ＳＧ）［３２］是一种向图像中添加噪声以生成新图像的技术，每次将随机高斯噪声 Ｎ（０，σ２）添加到给定的输入图像中，并计算相应的梯度。

Ｚｈｏｕ等［３３］提出的类激活映射 （ＣｌａｓｓＡｃｔｉｖａｔｉｏｎ Ｍａｐｓ，ＣＡＭ）是一种可视 化 方 法，

Ｓｅｌｖａｒａｊｕ等［３４］在ＣＡＭ 的基础上提出 梯 度 类 激 活 映 射（Ｇｒａｄｉｅｎｔ－ＣｌａｓｓＡｃｔｉｖａ－

ｔｉｏｎＭａｐｓ，Ｇｒａｄ－ＣＡＭ）方法，该方法克服了上述缺点，根据特定层的特征图 Ａｋ 计算输出ｆｃ（ｘ）的梯度，

Ｃｈａｔｔｏｐａｄｈｙａｙ等［３５］提 出 的 Ｇｒａｄ－ＣＡＭ＋ ＋ 方 法 是 对Ｇｒａｄ－ＣＡＭ 的扩展，该方法提供了更好的视觉可解释性，并且能够检测多 个 目 标 对 象，弥 补 了 Ｇｒａｄ－ＣＡＭ 方 法 的 缺 陷，即在处理出现多个相同类别的图像时，可能会导致目标对象定位不准确的问题。

Ｂａｃｈ等［３６］提出的分层相 关传播 （ＬａｙｅｒｗｉｓｅＲｅｌｅｖａｎｃｅＰｒｏｐａｇａｔｉｏｎ，ＬＲＰ）是一种基于非线性分类器像素分解的方法，该方法计算层之间的像素相关性分数，并根据结果生成热力图。

Ｋｉｎｄｅｒ－ｍａｎｓ等［３７］提出 的 ＰａｔｔｅｒＮｅｔ和 ＰａｔｔｅｒｎＡｔｔｒｉｂｕｔｉｏｎ技 术 也 是一种逐层反向传播方法，但 是 与 ＬＲＰ方 法 不 同 的 是，这 两 种

方法需要计算数据中重要信息的方向α＋ （见式（１０））：Ｐａｔｔｅｒ－Ｎｅｔ方法用α＋ 替换权重ω；ＰａｔｔｅｒｎＡｔｔｒｉｂｕｔｉｏｎ方法用ω⊙α＋替换权重ω。

［３０］ＳＰＲＩＮＧＥＮＢＥＲＧＪＴ，ＤＯＳＯＶＩＴＳＫＩＹ Ａ，ＢＲＯＸＴ，ｅｔａｌ．Ｓｔｒｉｖｉｎｇｆｏｒｓｉｍｐｌｉｃｉｔｙ：Ｔｈｅａｌｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔ［Ｊ］．ａｒＸｉｖ：１４１２．６８０６，２０１４．

［３１］ＳＵＮＤＡＲＡＲＡＪＡＮ Ｍ，ＴＡＬＹ Ａ，ＹＡＮ Ｑ．Ａｘｉｏｍａｔｉｃａｔｔｒｉｂｕｔｉｏｎｆｏｒｄｅｅｐｎｅｔｗｏｒｋｓ［Ｃ］∥ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．ＮｅｗＹｏｒｋ：ＰＭＬＲ，２０１７：３３１９－３３２８．

［３２］ＳＭＩＬＫＯＶ Ｄ，ＴＨＯＲＡＴ Ｎ，ＫＩＭ Ｂ，ｅｔａｌ．Ｓｍｏｏｔｈｇｒａｄ：ｒｅｍｏｖｉｎｇｎｏｉｓｅｂｙａｄｄｉｎｇｎｏｉｓｅ［Ｊ］．ａｒＸｉｖ：１７０６．０３８２５，２０１７．

［３３］ＺＨＯＵ Ｂ，ＫＨＯＳＬＡ Ａ，ＬＡＰＥＤＲＩＺＡ Ａ，ｅｔａｌ．Ｌｅａｒｎｉｎｇｄｅｅｐ ｆｅａｔｕｒｅｓｆｏｒｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｏｃａｌｉｚａｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．ＮｅｗＪｅｒｓｅｙ：ＩＥＥＥ，２０１６：２９２１－２９２９．

［３４］ＳＥＬＶＡＲＡＪＵ Ｒ Ｒ，ＣＯＧＳＷＥＬＬ Ｍ，ＤＡＳ Ａ，ｅｔａｌ．Ｇｒａｄｃａｍ：Ｖｉｓｕａｌｅｘｐｌａｎａｔｉｏｎｓｆｒｏｍｄｅｅｐｎｅｔｗｏｒｋｓｖｉａｇｒａｄｉｅｎｔ－ｂａｓｅｄｌｏｃａｌｉｚａｔｉｏｎ［Ｃ］∥ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｗａｓｈｉｎｇｔｏｎ：ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ，２０１７：６１８－６２６．

［３５］ＣＨＡＴＴＯＰＡＤＨＡＹ Ａ，ＳＡＲＫＡＲ Ａ，ＨＯＷＬＡＤＥＲ Ｐ，ｅｔａｌ．Ｇｒａｄ－ｃａｍ＋ ＋：Ｇｅｎｅｒａｌｉｚｅｄｇｒａｄｉｅｎｔ－ｂａｓｅｄｖｉｓｕａｌｅｘｐｌａｎａｔｉｏｎｓ ｆｏｒ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓ［Ｃ］∥２０１８ＩＥＥＥ ＷｉｎｔｅｒＣｏｎｆｅｒｅｎｃｅｏｎ Ａｐｐｌｉｃａｔｉｏｎｓｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＷＡＣＶ）．Ｎｅｗ Ｊｅｒｓｅｙ：ＩＥＥＥ，２０１８：８３９－８４７

［３６］ＢＡＣＨＳ，ＢＩＮＤＥＲＡ，ＭＯＮＴＡＶＯＮＧ，ｅｔａｌ．Ｏｎｐｉｘｅｌ－ｗｉｓｅ ｅｘｐｌａｎａｔｉｏｎｓ ｆｏｒ ｎｏｎｌｉｎｅａｒ ｃｌａｓｓｉｆｉｅｒ ｄｅｃｉｓｉｏｎｓｂｙｌａｙｅｒ－ｗｉｓｅｒｅｌｅ－

ｖａｎｃｅｐｒｏｐａｇａｔｉｏｎ［Ｊ］．ＰＬｏＳＯｎｅ，２０１５，１０（７）：１－４６．

［３７］ＫＩＮＤＥＲＭＡＮＳＰ－Ｊ，ＳＣＨÜＴＴＫＴ，ＡＬＢＥＲ Ｍ，ｅｔａｌ．Ｌｅａｒｎｉｎｇｈｏｗｔｏｅｘｐｌａｉｎｎｅｕｒａｌｎｅｔｗｏｒｋｓ：Ｐａｔｔｅｒｎｎｅｔａｎｄｐａｔｔｅｒｎａｔｔｒｉｂｕｔｉｏｎ［Ｊ］．ａｒＸｉｖ：１７０５．０５５９８，２０１７．

2.2基于扰动的方法

基于扰动的方法被广泛应用于解释深层图像模型［３８］。该方法的基本思想是通过修改模型的输入来监测模型输出结果的变化。对模型输出的变化表明了输入的哪些部分对模型的决策结果是重要的。

Ｚｅｉｌｅｒ等［２８］提出的遮挡（Ｏｃｃｌｕｓｉｏｎ）方法

Ｒｉｂｅｉｒｏ等［３９］提出的局部可解释模型（ＬｏｃａｌＩｎｔｅｒｐｒｅｔａｂｌｅＭｏｄｅｌＥｘｐｌａｎａｔｉｏｎｓ，ＬＩＭＥ）是一种与模型内部结构无关的方法，可以使用简单的、更易解释的模型ｇ（如线性回归，ｇ（ｚ）＝ｗ·ｚ）局部逼近复杂模型。

Ｗａｎｇ等［４０］提出的分类加权类激活 （Ｓｃｏｒｅ－Ｗｅｉｇｈｔｅｄ

ＣｌａｓｓＡｃｔｉｖａｔｉｏｎ，Ｓｃｏｒｅ－ＣＡＭ）方 法 是 一 种 基 于 ＣＡＭ 的 梯 度无关的解释方法。

Ｐｅｔｓｉｕｋ等［４１］提出的随机输入 抽 样 解 释（ＲａｎｄｏｍｉｚｅｄＩｎｐｕｔＳａｍｐｌｉｎｇｆｏｒＥｘｐｌａｎａｔｉｏｎ，ＲＩＳＥ）方法通过随机屏蔽输入计算特征的重要性来测试模型的输出。

Ｆｏｎｇ等［４２］提出的极值扰动（ＥｘｔｒｅｍａｌＰｅｒｔｕｒｂａｔｉｏｎｓ）方法会对神经网络中特定神经元的激活产生非常大的影响。

［３８］ＤＡＢＫＯＷＳＫＩＰ，ＧＡＬ Ｙ．Ｒｅａｌｔｉｍｅｉｍａｇｅｓａｌｉｅｎｃｙｆｏｒｂｌａｃｋｂｏｘｃｌａｓｓｉｆｉｅｒｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｏｆｔｈｅ３１ｓｔＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎ－

ｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．ＬｏｎｇＢｅａｃｈ：ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓＩｎｃ，２０１７：６９７０－６９７９．

［３９］ＲＩＢＥＩＲＯ Ｍ Ｔ，ＳＩＮＧＨＳ，ＧＵＥＳＴＲＩＮ Ｃ．“ＷｈｙｓｈｏｕｌｄＩｔｒｕｓｔｙｏｕ？”Ｅｘｐｌａｉｎｉｎｇｔｈｅｐｒｅｄｉｃｔｉｏｎｓｏｆａｎｙｃｌａｓｓｉｆｉｅｒ［Ｃ］∥Ｐｒｏｃｅｅ－

ｄｉｎｇｓｏｆｔｈｅ２２ｎｄ ＡＣＭ ＳＩＧＫＤＤＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙａｎｄＤａｔａＭｉｎｉｎｇ．２０１６：１１３５－１１４４．

［４０］ＷＡＮＧ Ｈ，ＷＡＮＧＺ，ＤＵ Ｍ，ｅｔａｌ．Ｓｃｏｒｅ－ＣＡＭ：Ｓｃｏｒｅ－ｗｅｉｇｈｔｅｄｖｉｓｕａｌｅｘｐｌａｎａｔｉｏｎｓｆｏｒｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｃ］∥Ｐｒｏ－ｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ．Ｎｅｗ Ｊｅｒｓｅｙ：ＩＥＥＥ，２０２０：

２４－２５．

［４１］ＰＥＴＳＩＵＫ Ｖ，ＤＡＳ Ａ，ＳＡＥＮＫＯ Ｋ．Ｒｉｓｅ：Ｒａｎｄｏｍｉｚｅｄ ｉｎｐｕｔｓａｍｐｌｉｎｇｆｏｒｅｘｐｌａｎａｔｉｏｎｏｆｂｌａｃｋ－ｂｏｘｍｏｄｅｌｓ［Ｊ］．ａｒＸｉｖ：１８０６．

０７４２１，２０１８．

［４２］ＦＯＮＧ Ｒ Ｃ，ＶＥＤＡＬＤＩＡ．Ｉｎｔｅｒｐｒｅｔａｂｌｅｅｘｐｌａｎａｔｉｏｎｓｏｆｂｌａｃｋｂｏｘｅｓｂｙｍｅａｎｉｎｇｆｕｌｐｅｒｔｕｒｂａｔｉｏｎ［Ｃ］∥ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｎｅｗ Ｊｅｒｓｅｙ：ＩＥＥＥ，２０１７：３４２９－３４３７．

在医疗诊断中，Ｚｈａｎｇ等［２］提出了一个包含图像模型和 语言 模 型 的 ＭＤＮｅｔ网 络，用于在医学图像和诊断之间进 行 多模式映射。

［２］ ＺＨＡＮＧＺ，ＸＩＥ Ｙ，ＸＩＮＧ Ｆ，ｅｔａｌ．Ｍｄｎｅｔ：Ａｓｅｍａｎｔｉｃａｌｌｙａｎｄ ｖｉｓｕａｌｌｙｉｎｔｅｒｐｒｅｔａｂｌｅ ｍｅｄｉｃａｌｉｍａｇｅｄｉａｇｎｏｓｉｓｎｅｔｗｏｒｋ［Ｃ］∥ ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ ＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｗａｓｈｉｎｇｔｏｎ：ＩＥＥＥ ＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ，２０１７： ６４２８－６４３６

４．１定性评估

Ｏｖｉｅｄｏ等［６５］提出了平均类激活映射（ａｖｅｒａｇｅＣｌａｓｓＡｃｔｉ－ｖａｔｉｏｎＭａｐｓ，ａｖｅｒａｇｅＣＡＭ）方 法，该方法提供的全局解释可以由专家通过分析显著性图的形态和细粒度定性分析评估，而且特定用户可能从专家反馈中受益

定量评估

正确性

Ａｄｅｂａｙｏ等［６６］引入了模型参数随机化检查方 法，该 方 法从上到下破坏已学习的权重，并将可解释性方法应用到每个随机状态。如果随机化后的解释与原始解释相同，则 该 解 释对模型不敏感；如果两种解释不同，则不能保证原始解释完全正确。

Ｙｅｈ等［６７］提出了最 大 灵 敏 度（Ｍａｘ－Ｓｅｎｓｉｔｉｖｉｔｙ，ＭＳ）方法（见式（２３）），根据 解 释Φ（ｆｃ，ｘ）在 输 入ｘ′的 微 小 扰 动 下 的最大变化来衡量可靠性。

此外，Ａｎｃｏｎａ等［６８］提 出 根 据 ｓｅｎｓｉｔｉｖｉｔｙ－ｎ 标 准 来 评 估ＸＡＩ方法得到的特征重要性得分或热力图的正确性，

［６５］ＯＶＩＥＤＯＦ，ＲＥＮＺ，ＳＵＮＳ，ｅｔａｌ．ＦａｓｔａｎｄｉｎｔｅｒｐｒｅｔａｂｌｅｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｓｍａｌｌＸ－ｒａｙｄｉｆｆｒａｃｔｉｏｎｄａｔａｓｅｔｓｕｓｉｎｇｄａｔａａｕｇｍｅｎｔａｔｉｏｎａｎｄｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓ ［Ｊ］．ＮＰＪＣｏｍｐｕｔａｔｉｏｎａｌＭａｔｅｒｉａｌｓ，２０１９，５（１）：１－９．

［６６］ＡＤＥＢＡＹＯＪ，ＧＩＬＭＥＲＪ，ＭＵＥＬＬＹ Ｍ，ｅｔａｌ．Ｓａｎｉｔｙｃｈｅｃｋｓｆｏｒｓａｌｉｅｎｃｙｍａｐｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｏｆｔｈｅ３２ｎｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ ＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．Ｍｏｎｔｒéａｌ：ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓＩｎｃ，２０１８：９５２５－９５３６．

［６７］ＹＥＨＣＫ，ＨＳＩＥＨＣＹ，ＳＵＧＧＡＬＡＡ，ｅｔａｌ．Ｏｎｔｈｅ（ｉｎ）ｆｉｄｅｌｉｔｙａｎｄｓｅｎｓｉｔｉｖｉｔｙｏｆｅｘｐｌａｎａｔｉｏｎｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｏｆｔｈｅ３３ｒｄＩｎ－

ｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ ＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．Ｖａｎｃｏｕｖｅｒ：ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓＩｎｃ，２０１９：１０９６７－１０９７８．

［６８］ＡＮＣＯＮＡ Ｍ，ＣＥＯＬＩＮＩＥ，ÖＺＴＩＲＥＬＩＣ，ｅｔａｌ．Ｔｏｗａｒｄｓｂｅｔｔｅｒｕｎｄｅｒｓｔａｎｄｉｎｇｏｆｇｒａｄｉｅｎｔ－ｂａｓｅｄａｔｔｒｉｂｕｔｉｏｎ ｍｅｔｈｏｄｓｆｏｒｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｊ］．ａｒＸｉｖ：１７１１．０６１０４，２０１

连贯性（Ｃｏｈｅｒｅｎｃｅ）：

连 贯 性 是 为 了 比 较 ＸＡＩ方 法 生成的解释是否与领域知识或共识一致。对 于 图 像 解 释，通 常将热力图或解释的位置与真实物体边界框、分割掩码或人类注意力图进行比 较 来 评 估 “位 置 一 致 性”，并使用内外相关比［６９］、点定位误差［７０］或定点游戏的准确度［７１］等量化“基本事实”与解释之间的对应关系。例 如，Ｚｈａｎｇ等［７１］使 用 定 点 游

戏的准确度评估自上而下的注意力图在视觉场景中定位目标对象的能力。

［６９］ＮＡＭ ＷＪ，ＧＵＲＳ，ＣＨＯＩＪ，ｅｔａｌ．Ｒｅｌａｔｉｖｅａｔｔｒｉｂｕｔｉｎｇｐｒｏｐａｇａｔｉｏｎ：Ｉｎｔｅｒｐｒｅｔｉｎｇｔｈｅｃｏｍｐａｒａｔｉｖｅｃｏｎｔｒｉｂｕｔｉｏｎｓｏｆｉｎｄｉｖｉｄｕａｌｕｎｉｔｓｉｎｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｃ］∥Ｐｒｏｃｅｅ－ｄｉｎｇｓｏｆｔｈｅＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ．ＭｅｎｌｏＰａｒｋ：ＡＡＡＩ，２０２０：２５０１－２５０８．

［７０］ＪＡＫＡＢＴ，ＧＵＰＴＡ Ａ，ＢＩＬＥＮ Ｈ，ｅｔａｌ．Ｓｅｌｆ－ｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇｏｆｉｎｔｅｒｐｒｅｔａｂｌｅｋｅｙｐｏｉｎｔｓｆｒｏｍｕｎｌａｂｅｌｌｅｄｖｉｄｅｏｓ［Ｃ］∥ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｗａｓｈｉｎｇｔｏｎ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，

２０２０：８７８７－８７９７．

［７１］ＺＨＡＮＧＪ，ＢＡＲＧＡＬＳＡ，ＬＩＮＺ，ｅｔａｌ．Ｔｏｐ－ｄｏｗｎｎｅｕｒａｌａｔｔｅｎｔｉｏｎｂｙｅｘｃｉｔａｔｉｏｎｂａｃｋｐｒｏｐ ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍ－

ｐｕｔｅｒＶｉｓｉｏｎ，２０１８，１２６（１０）：１０８４－１１０２

稳定性（Ｓｔａｂｉｌｉｔｙ）：稳定性用于评估原始输入样本和引入噪声的样本分别得到的解释之间的相似性，也就是说，输入加入微小 的 白 噪 声，解释也会引入可见的变化。

Ａｌｖａｒｅｚ－Ｍｅｌｉｓ等［７３］通过归一化距离的方法衡量特定输入ｘ及 邻 域ε的自解释 模 型ｆｅｘｐｌ的 稳 定 性，并使用激活最大化方法优化参数。

Ｃｈｕ等［７４］通过Ｙ 和Ｙ′之间的余弦相似性衡量解释的一致性，较大的余弦相似度表示 ＬＩＭＥ得 到 了 更好的解释一致性。

Ｌａｋｋａｒａｊｕ等［７５］通过比较原始输入和轻微扰动输入的预测评估解释的保真度，并提出解释应该对原始输入数据和稍微偏移的输入都具有高保真度，以确保解释的稳定性。

［７３］ＡＬＶＡＲＥＺ－ＭＥＬＩＳ Ｄ，ＪＡＡＫＫＯＬＡ Ｔ．Ｔｏｗａｒｄｓｒｏｂｕｓｔｉｎｔｅｒｐｒｅｔａｂｉｌｉｔｙｗｉｔｈｓｅｌｆ－ｅｘｐｌａｉｎｉｎｇｎｅｕｒａｌｎｅｔｗｏｒｋｓ ［Ｃ］∥Ｐｒｏｃｅｅ－

ｄｉｎｇｓｏｆｔｈｅ３２ｎｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．２０１８：７７８６－７７９５．

［７４］ＣＨＵＬ，ＨＵ Ｘ，ＨＵＪ，ｅｔａｌ．Ｅｘａｃｔａｎｄｃｏｎｓｉｓｔｅｎｔｉｎｔｅｒｐｒｅｔａｔｉｏｎｆｏｒｐｉｅｃｅｗｉｓｅｌｉｎｅａｒｎｅｕｒａｌｎｅｔｗｏｒｋｓ：Ａ ｃｌｏｓｅｄｆｏｒｍ ｓｏｌｕｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２４ｔｈＡＣＭＳＩＧＫＤＤＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ ＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙ ＆ Ｄａｔａ Ｍｉｎｉｎｇ．２０１８：１２４４－

１２５３．

［７５］ＬＡＫＫＡＲＡＪＵ Ｈ，ＡＲＳＯＶ Ｎ，ＢＡＳＴＡＮＩＯ．Ｒｏｂｕｓｔａｎｄｓｔａｂｌｅｂｌａｃｋｂｏｘｅｘｐｌａｎａｔｉｏｎｓ［Ｃ］∥ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．ＮｅｗＹｏｒｋ：ＰＭＬＲ，２０２０：５６２８－５６３８．

Ａｆｓｈａｒ等［７６］研究了胶囊网络的可解释性，提出用已训练 的胶囊网络来识别可解释的放射特征。研 究 表 明，胶 囊 网 络 从医学图像中提取的特征不仅可以区分肿瘤类型，还与手工 制作的特征有很大相关性。

Ｗｕ等［７７］提 出 了 ＤｅｅｐＭｉｎｅｒ 框架，该框架试图可发现 ＤＮＮ 中可 解 释 的 表 征，并 为 乳 腺 癌 的预测建立解释。

Ｗａｎｇ等［７８］提出用 Ｇｒａｄ－ＣＡＭ 方法解释 ＲＡＰＮＮ 框 架，该框架可以从胸部 ＣＴ图像中学习单个图像级的特征，将模型中 ＲＡＰ模块的

输出作用 于 Ｇｒａｄ－ＣＡＭ［３５］，实现医疗领域的决策结果透明化。

Ｅｌ－Ｓａｐｐａｇｈ等［７９］开发了一个准确且可 解 释 的 阿 尔 茨海默 病（Ａｌｚｈｅｉｍｅｒ’ｓＤｉｓｅａｓｅ，ＡＤ）诊断和进展检测模型

［７６］ＡＦＳＨＡＲＰ，ＰＬＡＴＡＮＩＯＴＩＳＫ Ｎ，ＭＯＨＡＭＭＡＤＩＡ．Ｃａｐｓｕｌｅｎｅｔｗｏｒｋｓ’ｉｎｔｅｒｐｒｅｔａｂｉｌｉｔｙｆｏｒｂｒａｉｎｔｕｍｏｒｃｌａｓｓｉｆｉｃａｔｉｏｎｖｉａｒａ－

ｄｉｏｍｉｃｓａｎａｌｙｓｅｓ［Ｃ］∥２０１９ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ）．ＮｅｗＪｅｒｓｅｙ：ＩＥＥＥ，２０１９：３８１６－３８２０．

［７７］ＷＵＪ，ＺＨＯＵ Ｂ，ＰＥＣＫ Ｄ，ｅｔａｌ．Ｄｅｅｐｍｉｎｅｒ：Ｄｉｓｃｏｖｅｒｉｎｇｉｎｔｅｒｐｒｅｔａｂｌｅｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｏｒｍａｍｍｏｇｒａｍｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｅｘ－ｐｌａｎａｔｉｏｎ［Ｊ］．ａｒＸｉｖ：１８０５．１２３２３，２０１８．

［７８］ＷＡＮＧＹ，ＦＥＮＧＣ，ＧＵＯＣ，ｅｔａｌ．Ｓｏｌｖｉｎｇｔｈｅｓｐａｒｓｉｔｙｐｒｏｂｌｅｍｉｎｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｖｉａｃｒｏｓｓ－ｄｏｍａｉｎｉｔｅｍｅｍｂｅｄｄｉｎｇｂａｓｅｄｏｎ ｃｏ－ｃｌｕｓｔｅｒｉｎｇ［Ｃ］∥ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＴｗｅｌｆｔｈ ＡＣＭ Ｉｎｔｅｒｎａ－ ｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ ＷｅｂＳｅａｒｃｈａｎｄＤａｔａ Ｍｉｎｉｎｇ．２０１９：７１７－ ７２５．

［７９］ＥＬ－ＳＡＰＰＡＧＨＳ，ＡＬＯＮＳＯＪＭ，ＩＳＬＡＭ Ｓ，ｅｔａｌ．Ａ ｍｕｌｔｉｌａｙｅｒ ｍｕｌｔｉｍｏｄａｌｄｅｔｅｃｔｉｏｎａｎｄｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎｅｘｐｌａｉｎａｂｌｅ ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅｆｏｒＡｌｚｈｅｉｍｅｒ’ｓｄｉｓｅａｓｅ ［Ｊ］．Ｓｃｉｅｎｔｉｆｉｃｒｅ－ ｐｏｒｔｓ，２０２１，１１（１）：１－２

Ｂｏｊａｒｓｋｉ等［８３］基于视觉解释方法为自动驾驶决策提供了 一种可视 化 方 法（ＶｉｓｕａｌＢａｃｋＰｒｏｐ），该方法显示了哪一组输 入像 素 对 ＣＮＮ 的预测贡献最大。Ｂｏｊａｒｓｋｉ等［８３］在 Ｕｄａｃｉｔｙ 自动驾驶汽车数据集上进行端到端的自动驾驶任务。实验表 明，ＶｉｓｕａｌＢａｃｋＰｒｏｐ方法是调试 ＣＮＮ 预测的有效工具。Ｚｅｎｇ 等［８４］提出了一种通过遵守交通规则学习安全驾驶车辆的架 构。

［８３］ＢＯＪＡＲＳＫＩ Ｍ，ＣＨＯＲＯＭＡＮＳＫＡ Ａ，ＣＨＯＲＯＭＡＮＳＫＩ Ｋ，ｅｔａｌ．Ｖｉｓｕａｌｂａｃｋｐｒｏｐ：ｖｉｓｕａｌｉｚｉｎｇｃｎｎｓｆｏｒａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇ［Ｊ］．ａｒＸｉｖ：１６１１．０５４１８，２０１６．

本文结论

• 现有的可解释性方法主要针对图像和文本分类任务， 如何将可解释性方法扩展到其他任务仍是未来深度学习可解 释性研究领域的主要方向之一。 （２）深度学习可解释性的目的是在解释 ＤＮＮ 的 同 时，尽 可能保持模型性能和复杂度的平衡［９０］。
• 研究可解释性最重要的目的是在一些特定领域能 使用解释方法提高模型的可信度和可靠性。但 是，当 一 个 可 靠的深度学习模型提供了一个错误的视觉或文本解释时，探究错误解释的方法似乎并不存在。