目录
2、相关工作： 可解释的人工智能形式化、基于构成部分的分类和神经符号计算
摘要：
尽管深度神经网络（DNN）具有强大的泛化和预测能力，但其功能却无法详细解释其行为。不透明的深度学习模型越来越多地被用于在关键环境中做出重要预测，其危险性在于它们做出和使用的预测无法证明其合理性或合法性。目前已经出现了几种将解释与机器学习模型分离开来的可解释人工智能（XAI）方法，但这些方法在忠实于模型实际运作和鲁棒性方面存在缺陷。因此，人们普遍认为，必须赋予深度学习模型解释能力，使其本身能够回答为什么会做出特定预测。首先，我们通过形式化什么是解释来解决 XAI 缺乏通用标准的问题。我们还引入了一系列公理和定义，从数学角度阐明了 XAI。最后，我们介绍了 Greybox XAI，这是一个利用符号知识库（KB）组成 DNN 和透明模型的框架。我们从数据集中提取一个知识库，并用它来训练一个透明模型（即逻辑回归）。在 RGB 图像上训练编码器-解码器架构，以产生与透明模型所用 KB 相似的输出。一旦这两个模型得到独立训练，它们就会被组合使用，形成一个可解释的预测模型。
1.介绍
被视为黑盒子的深度神经网络（DNN）正越来越多地被用于在关键环境中进行重要预测。与此同时，人工智能领域各利益相关方对透明度的要求也在不断提高[1]。使用黑盒模型的危险在于创建和应用无法解释且无法证明合理的决策[2]。要求深度学习具有可解释性的常见需求有：道德需求[3]、在关键环境中使用人工智能时的安全性[4]以及让最终用户信任系统的需求[5]。可解释性可以定义为对模型行为做出人类用户可以理解的解释的能力[6]。
在[7]中，米勒强调了关于解释的四个主要发现。一个 "好 "解释的先决条件是，它不仅要说明模型为什么会做出某个决定，还要说明它为什么会做出这个决定而不是另一个决定。这指的是产生反事实的能力。此外，''好''的解释是有选择性的，也就是说，只关注决策过程的主要原因就足够了。此外，如果概括本身没有提供因果解释，那么利用统计概括来解释事件发生的原因是不够的。最后，解释是社会性的，也就是说，解释是解释者与被解释者之间的知识转移。
深度学习模型存在两种偏差。第一种是学习偏差，原因是训练数据集中存在偏差。当训练集中的概念关联过多或过少时，就会出现这种情况。例如，在一个数据集中，女性在办公室中的比例低于男性，导致字幕算法认为办公室中的人一定是男性，但也有可能是女性。XAI 的应用之一就是强调这种偏差并加以纠正[8]。第二类偏差是人为造成的偏差，即在使用有关世界的常识来解释 DNN 的输出时，或在使用特定参数、架构或损失函数对问题进行建模时[9]。
近年来，出现了大量的模型探测方法。有些方法的优点是与模型无关，即把解释与机器学习模型分开。这样做的好处是为用户提供了灵活性，因为有工具可以从每个模型中提取解释元素[10]。其中一些方法（最著名的有《LIME》[11] 和《SHAP》[12]）基于代用模型的使用。这些代理模型将局部模仿黑箱的行为，以解释个别预测。这种方法的优点是易于使用，但也存在鲁棒性问题[13,14]。此外，由于解释是局部的，因此不可能对模型的行为有全局观念。
在图像识别领域，另一系列广泛使用的方法是基于可视化的。它们通过突出图像中客观上影响 DNN 输出的特征来表达解释[15]。其中最著名的方法是 Grad-CAM [16]，它利用 DNN 输出相对于最后一个卷积层的梯度来创建类激活图。这提供了一种易于理解的视觉解释，因为它可以识别图像的重要区域。然而，要知道一个解释是否有效并不容易，因为非该领域专家的人类并不一定知道图像的重要点是什么，而且部分评估是主观的。此外，一些最常用的方法对模型和数据不敏感[17]。此外，当用户试图解释视觉解释时，也有可能引入人为偏差。用户的理解将取决于其自身的背景知识。因此，人工智能模型的解释要素必须直接来自网络所看到的数据，这样才能忠实于网络实际学习到的内容[18]。
在模型中具有可解释性的目标之一是通过以人类可理解和可读的方式表达来解释其推理，同时突出模型所学到的偏见，以验证或无效其决策原理[19]。模型的性能和透明度之间存在权衡[20]，但也可以考虑倡导可解释性可能会导致通用性能的改善，原因有三：（i）有助确保决策过程公正无私，即突出，因此，从训练数据集中的偏见，纠正，（ii）可解释性有利于通过突出潜在的对抗扰动，可能会改变预测的鲁棒性的提供，最后，（iii）可解释性可以作为一种保险，只有有意义的变量推断输出，即，保证一个潜在的真实因果关系存在于模型推理。将连接主义模型的预测能力与符号模型的透明度相结合，可以通过提高AI模型的可解释性或性能来搁置权衡，挑战在于在不牺牲太多其他因素的情况下增加一个。已经证明，在DNN中使用背景知识可以为学习系统带来鲁棒性[21-23]。使用知识库来学习和推理符号表示具有促进解释产生的优势，同时进行预测[24]。引用已建立的推理规则的能力允许符号方法实现这一属性。
为了获得符合上述标准的模型，我们引入了Greybox XAI框架。这种新的架构在用于图像分类任务时是透明的。它结合了一个编码器-解码器，用于创建一个可解释的潜在空间，然后由逻辑回归使用。可解释的潜在空间允许了解图像在逻辑回归的帮助下以某种方式分类的原因。此外，我们提出了一个形式化的解释的概念，我们提出的定义，允许判断其质量。
本文的贡献有以下三个方面：
（1）深度学习模型的可解释性理论，以限定什么是“好”的解释。
（2）一个可解释的设计组合框架，称为Greybox XAI。
（3）我们表明，这个新框架在图像分类任务中提供了关于各种数据集的可解释性/准确性权衡的最新结果，因为它的准确性接近现有模型，同时更具可解释性。
本文的组织结构如下：首先，我们在第2节中介绍了有关XAI和基于部分的分类器的文献。我们提出了XAI中使用的不同概念和术语，并在第3节中提出了我们的定义。我们在第4节中描述了我们的框架，并在第5节中通过在几个数据集上的实验说明了它的使用。
2.相关工作： 可解释的人工智能形式化、基于构成部分的分类和神经符号计算
文献[6,25,26]将深度学习的 XAI 方法分为两类：一类是透明模型，另一类是不透明模型，后者需要通过事后方法来解释。由于我们的模型是透明模型和不透明模型的组合，因此我们将在第 2.1 节重点讨论组合模型。我们还将在第 2.2 节中讨论知识库在 XAI 中的应用。
2.1基于组成部分的分类模型
计算机视觉中的组合性是指通过组合较简单的部分来表示复杂概念的能力[27，28]。组合性是CNN的一个理想属性，因为它可以通过鼓励网络形成表示来提高泛化能力，这些表示可以将对象的预测与周围环境和彼此分离开来[29]。例如，手写符号可以使用笔画的组合表示从仅几个示例中学习[30]。神经网络的组合性也被视为符号主义和联结主义整合的关键[31，32]。
基于部件的物体识别是语义组合性的一个例子，也是一种经典范例，其理念是收集局部信息，以便进行全局分类。在 [33] 中，作者提出了一个管道，首先将像素分组为超像素，然后执行超像素级分割，将此分割转换为特征向量，最后根据此特征向量对全局图像进行分类。文献[34]提出了一种类似的方法，并将其扩展到三维数据。这种方法的思路是将图像的一部分归入一个预定义的类别，然后利用这些中间预测结果对整个图像进行分类。文献[35]的作者还定义了中间层特征，以捕捉局部结构，如垂直或水平边缘、头发滤镜等。不过，与我们在本文中提出的方法相比，他们更接近于字典学习。
最著名的物体部件识别模式之一是 [36]。该模型基于多尺度可变形零件模型的混合物进行物体识别，其基础是对带有部分标记数据的硬负面示例进行数据挖掘，以训练潜在 SVM。评估是在 PASCAL 物体检测挑战赛（PASCAL VOC 基准[37]）中进行的。
最近又开发出了一些半监督方法，例如 [38]。他们提出了一种由局部检测支持的两阶段神经架构，用于精细图像分类。他们的想法是，积极的建议区域会突出不同的互补信息，所有这些信息都应加以利用。为此，首先通过交替应用 CRF 和 Mask-RCNN（考虑用 CAM 进行初始近似）建立一个无监督识别模型。然后，将识别模型和积极区域建议输入双向 LSTM，生成一个有意义的特征向量，收集所有区域的信息，然后对图像进行分类。这可以被视为基于部分的无监督分类。
正如文献[39]所介绍的，在某些领域（例如医学领域）需要因果关系。可因性是向人类专家解释达到特定因果理解水平的可测量程度[40]。这个概念指的是可用性，不能与因果性混为一谈。后者是指原因和结果之间的关系[41]。因果性可以用系统因果性量表（System Causability Scale）来衡量，这是一个根据因果性和可用性来衡量解释质量的系统[42]。
目前使用 DNNs 进行图像分类的方法是在学习过程中加入注意力机制，以自动提取给定输入的相关特征。这种机制旨在让 DNNs 专注于特定分类任务中最重要的特征[43]。变压器架构最初是为机器翻译而引入的，但计算机视觉界正在努力将其应用于计算机视觉[44-46]。基于注意力的神经网络，如视觉转换器（ViT），最近在许多计算机视觉基准测试中都取得了最准确的结果[47, 48]。许多研究都是为了改进这些计算机视觉转换器，特别是研究如何更有效地缩放视觉转换器的大小[49]，使其更易于推理[50]，或改进对领域转换的泛化[51]。通过添加人类视觉注意力图作为 DNN 的输入，已经证明 DNN 中的注意力机制与人类视觉注意力一样有效[52]。
最后，[53] 提出了一种旨在学习符号和深度表征的方法。它包括一个利用名为 EXPLANet 的符号表征的组合卷积神经网络和 SHAP-Backprop，这是一种可解释的人工智能训练程序，可纠正和指导 DL 过程，使其与知识图谱形式的符号表征保持一致。据我们所知，该模型代表了组合学习模型的最新技术水平。
2.2知识库在可解释人工智能中的应用
与纯粹的数据驱动方法相比，在知识库中使用逻辑语句形式的背景知识不仅能提高可解释性，还能提高性能[21,23]。一个积极的副作用是，当训练数据标签出现错误时，这种混合方法为学习系统提供了鲁棒性。其他方法也表明，它们能够利用符号表征和子符号表征及推理进行联合学习和推理 [54]。有趣的是，这种混合方法允许以端到端的方式进行富有表现力的概率逻辑推理 [55]。饮食推荐就是一个用例，从（非深度但基于知识库的）模型背后的推理中提取解释[24]。
混合 XAI 模型的另一个不同视角是用透明模型的知识丰富黑箱模型的知识，这在文献[9]中提出，并在文献[18]中得到进一步完善。它允许网络在有助于解决偏差的背景下表达有信心或困惑的内容。其他基于知识的工具或图形视角增强神经（如语言[56]）模型的混合符号和子符号方法的例子见文献[57,58]。
另一种混合方法是将无法解读的黑盒系统映射到更容易解读的白盒孪生系统。例如，不透明的人工神经网络（ANN）可以与透明的案例推理（CBR）系统相结合 [59,60]。在 [61] 中，人工神经网络（本例中为 DNN）和基于案例的推理（本例中为 k-NN）配对使用，以提高可解释性，同时保持相同的准确性。举例说明包括分析 ANN 的特征权重，然后将其用于 CBR，以检索近邻案例来解释 ANN 的预测。
描述逻辑学[62]已成功用于通过使用知识库[63]来增强图像解读的深度学习模型。它还能帮助检测自动知识表示和推理中的不一致性。自动符号设计和解释的一个例子见 [64]。一些 XAI 系统考虑了反事实规则学习和因果信号提取。规则学习方法的例子包括从噪声或非结构化数据中学习，或利用约束条件学习[65]。
直观地说，知识库的存在有助于提供解释，但如何将其用于图像分类并不明显，因为知识库使用的是一种非常具体的形式主义，与网络使用的抽象特征截然相反。逻辑张量网络[22]或 LYRICS（整合人工智能和深度学习的通用接口层）[66]等一些方法显示了很好的效果，但我们在文献中没有找到任何可执行的端到端使用实例。
3.XAI 的定义和形式化
我们首先以文献[6]为基础，就不同术语在 XAI 范畴内的含义达成共识。我们回顾了透明度的定义，并提出了判断解释质量的各种标准。第 3.1 和 3.2 节中的定义并非贡献，而是正确理解我们提出的 Greybox XAI 框架的必要步骤。
3.1透明度的定义
透明度是指模型的被动属性，它指的是给定模型对人类观察者“有意义”的水平。当模型不透明时，将其视为不透明。有三种透明度，从最低到最高[67]：
（1） 算法透明度。它涉及用户理解模型从其输入数据产生任何给定输出所遵循的过程的能力。
（2） 可分解性。如果模型的每个部分都能被人类理解，而不需要额外的工具，那么这个具有算法透明度的模型就是可分解的。这意味着可以解释模型的每个部分（输入、参数和计算）。它要求每个输入都是可解释的。
（3）可模拟性。它指的是一个模型完全由人类模拟的能力，这意味着它的复杂性很低。因此，如果一个可分解模型的自含性足以让人类从整体上对其进行思考和推理，那么它就是可模拟的。
总之，透明度的高低取决于模型的可理解性。模型的可理解性是指模型使人理解其内部结构或模型内部处理数据的算法手段的能力[68]。被认为透明的模型类型有线性回归和逻辑回归 [69]、决策树 [70]、K-近邻 [71]、基于规则的学习器 [72]、一般加法模型 [73] 和贝叶斯模型 [74]。这 6 类模型在算法上总是透明的。如果变量易于理解且数量不多，如果规则不多等，它们可以达到更高的可解释性。
3.2定义可解释的概念
如[6]所述，可解释性可以被认为是模型的一个积极特征，它指的是为了阐明其内部功能而实施的任何行动或程序。因此，一个模型的可解释性表示它产生解释的能力。为了使非透明模型可解释，设计了许多事后方法。事后方法是在模型训练后对其进行处理，旨在对模型进行探测，以提高模型的可解释性。
虽然在可解释的人工智能中使用的大多数不同术语在文献中已经被广泛讨论，但关于什么构成解释的术语还没有被广泛数学化。受[75]的启发，我们提出了解释概念的形式化，以建立客观标准来确认解释是否“好”。无论是来自模型的透明性，还是来自应用于不透明模型的事后方法，一个解释必须满足某些不可或缺的特征，才能被认为是一个“好”的解释。
3.3一个图像分类问题的解释形式化
让我们表示E = {(E)| E∈{0,1}∗}一个解释集合E。这个集合是二进制的，以便能够对任何类型的通信进行编码，因为解释可以以各种形式给出:文本，图像，图形等。
定义3.1。设f: X→Y为分类模型，其中X为输入空间，Y为标签空间。对于x∈x的f (x)预测，解释函数Φ定义为:
在解释函数定义的基础上，我们定义了几个表征解释的公理。这些公理旨在正式限定什么是“好”的解释，遵循所需的属性。基于文献[6，7，9]和上述定义，我们强调了我们认为获得“好”解释所必需的3个属性：
1.客观性。可解释性首先是关于人类的，因为它指的是模型的细节和原因，以使其功能在给定的受众中清晰或易于理解[6]。产生尽可能客观的解释的目的是最大限度地减少人类在解释解释时可能具有的主观性。基于已知的并且与手头的任务相关的符号/概念来设计解释，允许具有相同背景知识的两个不同用户以相同的方式理解的无偏见的解释。为了使解释更加客观，我们认为，解释的表达方式必须使特定听众中的大多数人以同样的方式理解。真实的世界包含对象，我们希望这些对象的紧凑表示[76]。我们假设这可以在解释中通过使用逻辑语义学来获得，使用可以由解释的人类用户概念化的符号和关系。这意味着使用本体，指定假设存在的个体（事物，对象）和关系以及使用的术语。
定义3.2。分类模型f的解释e：X → Y被称为客观的，如果e包含符号和/或关系。
示例1（客观性）。图1示出了利用符号和/或关系的一种解释和不利用它们的另一种解释的示例。不那么主观的解释最大限度地减少了留给被解释者的解释量，因为它使用通常用来表示对象的符号（单词）。此外，基于模型注意区域可视化的主观解释给被解释者的解释留下了很多空间。从一个用户到另一个用户，有些人会说，热点区域是兔子的头部，而其他人会谈论它的口吻，它拿着的胡萝卜丝或它的眼睛的颜色。
2.内在性。预测的完整解释应该直接来自产生预测的模型（或其内在元素）。为了使解释完全忠实于模型中发生的事情，必须只使用我们试图解释的模型中存在的输入，参数和操作。这对于确保给出的解释是模型在推理过程中实际发生的事情而不是预期的行为是至关重要的。拥有内在解释的价值在于确保解释准确地描述了模型如何工作，而不是近似或期望的操作。事实上，如果解释所依赖的东西与我们希望解释的模型无关，就无法确保这种解释不会扭曲作出决定的真实的理由。定义3.3.分类模型f的解释e：X → Y被称为内禀的，如果e仅依赖于f，X或Y中存在的元素，参数和操作。
实施例2（内在性）。为了对黑箱模型f进行解释，事后方法LIME [11]生成了一个新的数据集，该数据集由扰动样本和f的相应预测组成。在这个新的数据集上，LIME训练了一个可解释的模型h，该模型通过扰动样本与感兴趣实例的接近度进行加权。模型h的预测应该是模型f的局部预测的一个很好的近似，但它不一定是模型f的一个很好的全局近似。所产生的解释可以表示如下：
其中L（f，h，πx）是局部保真度，即h的预测与f的预测有多接近。接近度度量πx定义了被解释实例周围的邻域有多大。因此，解释e不仅取决于f、X或Y中存在的元素、参数和操作，因为解释取决于代理模型h。因此，这种解释不是内在的。这里解释的是模型h的预测，而不是模型f的预测。
实施例3（内在性）。相反，从线性回归h得到的解释可以被认为是内在的，因为输入和标签之间的学习关系可以写如下：
其中θf是f和xi的可训练参数的集合。
3.有效性和完整性。对预测的解释必须是有效的，这意味着它应该断言模型是正确的（或错误的），因为正确的原因（RRR）。它必须表明模型的功能是一致的，它不受训练数据的影响。解释应类似于该领域专家给予的解释。对于这个有效性概念，我们可以加上一个必要的完整性概念：如果一个解释在其构成中没有包含足够的有效元素，这意味着我们需要足够数量的区分元素，那么它可以被判断为不完整的。然而，在文献中已经确定，“好”的解释是有选择性的[7]。
选择性意味着人类善于从有时无限多的原因中选择少数原因。
定义3.4。给定一个领域专家人类h：X → Y，我们将Evalid定义为有效解释Φ的集合：Y →等效定义3.5.分类模型f的解释e：如果e ∈ Evalid，则称X → Y是有效的;如果e是足够可判别的，则称X → Y是完备的。
实施例4（有效性）。为了说明这一点，我们以一只公羊兔的图像2为例，我们从正面看到它的整体，模型将其分类为兔子。我们可以说，解释是有效的，如果它包含元素解释为什么它是兔子，即。那些专家在看图像时会用来证明这是一只公羊兔的事实。
实施例5（完整性）。为了说明完整性的概念，与有效性密切相关，我们以3为例，从正面看到一只公羊兔子，模型将其分类为兔子。我们可以说，如果它包含足够的元素来解释为什么它是一只兔子，也就是说，一些最重要的特征，人类专家在看图像时会注意到并用来证明它是一只公羊兔。从技术上讲，说兔子可以有不同的颜色并没有“错”。然而，颜色不是识别公羊兔的区别元素，也不可能看到人类给出这种解释。如果这种颜色的合理性伴随着兔子的区别元素，比如它的大耳朵，解释会更完整。
4.Greybox XAI：Greybox eXplainable人工智能框架
在本节中，我们将介绍 Greybox XAI 框架。根据上文提出的 "透明 "定义，该框架旨在实现透明。此外，该框架还能根据客观性、内在性和有效性这三个标准做出 "好 "的解释。该框架的目标是进行图像合成分类，并通过被分类对象的不同部分来解释其预测结果。它由两个单独训练的模型组成：
- 一个经过训练的深度神经网络，用于预测来自 RGB 图像输入的分割图。其目的是检测构成图像的物体的不同部分。
- 一个经过训练的透明模型，用于预测物体，使用一个向量作为输入，编码物体部分的存在和不存在。
这两个模型以一种顺序的方式联系在一起：DNN 的输出被转换成一个向量，作为透明模型的输入。我们将进行转换的空间称为可解释潜空间。在这个空间中，预测的分割图被转换成一个单点向量。该向量表示分割图中存在的所有部分对象。透明模型会对该向量进行分类。它根据不同的部分对象，对 RGB 图像中存在的对象进行预测。然后，就可以根据可解释潜空间和透明模型的计算结果对这一分类进行解释。在文章的其余部分，物体的部分称为属性，物体称为类。
首先，我们将在第 4.1 节中介绍我们的框架结构以及充分发挥其潜力所需的数据。然后，在第 4.2 节中，我们将解释如何按顺序训练框架的不同部分。最后，我们将在第 4.3 节中证明 Greybox XAI 框架如何根据第 3 节中提出的定义进行解释。
4.1灰盒架构和数据要求
假设 X 和 Y 是两个随机变量，X ∼ PX，Y ∼ PY。在不失一般性的前提下，我们考虑观测样本 {xi} N i=1 ∈ X N 作为向量，相应的标签 {yi} N i=1∈ Y N 为标量。数据集 D 中的元素被假定为独立且同分布（i.i.d.），符合未知的联合分布 PX、Y。
让我们将f表示为DNN。我们假设DNN是一个接受两个输入的函数。第一输入是输入数据xi，第二输入是可训练权重的集合θ = {θk} K k=1，其中K是DNN的权重的数量。因此，我们将f（xi，θ）表示为应用于xi的DNN f，其权重集为θ。
我们可以认为DNN具有概率表示[77];因此，DNN输出给定由θ参数化的X的随机变量Y的似然概率函数：f（x，θ）= P（y| x，θ）。
利用训练数据根据PXY独立且同分布的事实，通过训练数据D上的最大似然估计（MLE）来优化训练权重θ的集合。
由于函数的arg max不会因为我们将其乘以一个严格正的标量而改变，因此可以这样写:
以得到交叉熵(CE)的定义。提醒一下，离散情况下P(yi)和P(yi |xi， θ)之间的CE等于:
Greybox XAI框架是组合的。因此，让我们将f分解为两个子模型g和h，使f = h◦g。让我们将g写为第一个模型，它从观测值{xi} N i=1中提取可解释的潜在空间Z，并将h写为第二个模型，将该潜在空间Z映射到标签{yi} N i=1。因此我们有:
θg和θh表示g和h的可训练权值集合。
我们的目标是将第一个模型的内部表示映射到一个可解释的潜在空间。另外，由于h的预测依赖于这个可解释潜空间，我们可以保证预测是可解释的。
这不仅要求三元组Dcouple = {(xi, yi)} N i=1直接连接图像和类，而且要求三元组Dtriplet = {(xi, zi, yi)} N i=1，其中{zi} N i=1∈zn，其中Z是一个中间可解释的潜在空间，充当X和y之间的桥梁，并且要求属于Z的每个元素都是一个可以用自然语言表达的概念，因此这个集合Z代表可命名的特征。为了获得客观的解释，这是必要的。
因此，我们提出的体系结构是一个由两个元素组成的组合模型。首先，一个称为Latent Space Predictor的不透明DNN表示g能够预测一个可解释的潜在空间Z。其次，一个称为transparent Classifier的透明模型表示h能够从这个可解释的潜在空间Z移动到最终的预测y。它导致一个框架能够，对于任何图像xi，预测它对应的标签yi。基于zi和透明模型的可模拟性的客观和内在解释证明了这一预测是合理的，因为两个模型的组成通过Z作为g的输出和h的输入。值得注意的是，虽然这个框架允许解释最终的预测yi，基于zi作为基本原理，无法解释为什么zi被预测。因此，Greybox XAI框架是一个透明的分类器，它使用来自不透明检测器的输入特征。
图4显示了用于图像分类任务的Greybox XAI框架。这里，数据集Dtriplet = {(xi, zi, yi)} N i=1由RGB图像集合X、语义分割掩码集合Z和标签集合Y组成的三元组组成。从Z中提取第二个子集Zatt，我们将其称为属性集。这个集合包含所有属性的列表，即所有不同的分段掩码。这些都是潜在空间预测器可以检测到的物体的一部分。
这里，构成模型g的潜在空间预测器是一个编码器-解码器模型。它的作用是从图像xi中预测一个分割图zi。从这个分割图中提取向量zatt，它构成了分割图zi上所有属性的列表。我们称这个操作为向量化。一对{zi, zatt,i}是可解释的潜在空间。这里的逻辑回归模型充当透明分类器h.朴素贝叶斯分类器(NB)也可以工作，但第5节中进行的实验给出了逻辑回归更好的结果。然后，我们使用h固有的透明性质(在第4.2.2节中开发)和可解释潜空间{zi, zatt,i}来解释预测yi。
4.2隐空间预测器和透明分类器的训练过程
构成我们框架的潜空间预测器 g 和透明分类器 h 是分别训练的。以下是我们的训练步骤：
1.从 Z 中手动提取子集 Zatt，以获得分割掩码形式和向量形式的属性。
2.使用 Zatt 训练透明分类器预测 Y。该模型根据属性向量预测一个类别。
3.训练潜空间预测器，用 X 预测潜空间 Z。 该模型根据 RGB 图像预测分割图。
在第 4.2.1 节中，我们将解释如何提取子集 Zatt。第 4.2.2 节展示了我们如何训练透明分类器，第 4.2.3 节介绍了我们如何训练潜空间预测器。
4.2.1 面向知识库构建的子集抽取
数据集子集提取任务的目标是从数据集Dtriplet = {（xi，zi，yi）} N i=1中获得知识库，该数据集具有RGB图像集合X、语义分割掩码集合Z和（最终，整个对象）标签集合Y。我们将知识库称为语义注释的公共存储库，以便于在给定的资源集合中进行快速有效的搜索[78]。
在描述逻辑学[79]中，从数据集中提取的术语框 TBox 或模式与类实例（在我们的例子中，构成网络所见的数据集），即断言 ABox，构成 KB = 〈TBox, ABox〉。这个特定的知识库将以知识图谱（KG）的形式作为数据库，通过角色或关系（可能有语义限制）将不同类别的个体（即实例）相互连接起来。为了创建和填充知识库，有必要从一些训练标签中提取一些术语公理 TBox 和断言公理 ABox，并从中提取一组包含主语、谓语和宾语（s, p, o）的资源描述框架（RDF）三元组。1 数据集自动知识库构建（AKBC）问题包括找到一个过程 t : YKB → {(s, p, o)} 能够按照 RDF 语言对每个数据点进行三元化。三元化过程包括提取两个实体或概念，即主体（s）和客体（o），以及连接它们的谓词（p）。该谓词表达了主体和客体之间的关系，即数据属性或客体属性 [84]。Greybox XAI 框架中的 AKBC 问题包括寻找一个
我们将每个语义分割图像 zi∈Z 平面化，得到一个单维度向量，然后返回 zatt,i ，一个包含 zi 中每个唯一元素的排序列表，从而得到每个语义分割图像中每个元素的集合 Zatt。通过使用 OWL3 实体和关系，我们可以得到以下类型的 KB，将任何元素 {zatt,i,j} 联系起来 N,K i,j∈Z N,K att 与相应的 xi∈X N 和 yi∈Y N 相联系，其中 N 是数据集 Dtriplet 的三元素数量，K 是 Z 中不同属性的数量（见表 1）：
该知识库代表了可解释的潜在空间，将用于产生解释的理由。
我们的框架由 2 个顺序模型和连接模型组成，这 2 个模型的信息表现形式并不相同：DNN 可以使用图像，而透明模型则必须使用更为精简和紧凑的数据表现形式。逻辑回归等模型不可能将图像作为输入，因为这会因变量和参数数量的爆炸性增长而失去透明度。逻辑回归需要有人类可读的预测因子，并尽量减少预测因子之间的相互作用[6]。在语义分割图像的紧凑型二维表示上可以做到这一点，但在图像本身上却做不到，因为它有太多的变量。因此，Zatt 将用于训练透明分类器。
4.2.2 训练透明分类器
我们使用逻辑回归对数据库中的属性 Zatt 和类别 Y 进行统计拟合。这样做的目的是检验我们是否拥有具有相当辨别力的属性。这个测试的目的是检查是否可以根据属性训练出一个透明的分类器。如果基于属性预测类别的回归结果与基于图像预测类别的 DNN 结果之间的差异过大，就意味着属性的存在/不存在无法对图像进行有效分类，因此这些标签的质量很差。之所以选择使用逻辑回归，是因为该模型预测的概率易于解释[86]。
在二元逻辑回归中，函数 h(zatt,i,θh)用于模拟回归目标 yi∈{0, 1} 对特征 zatt,i 的依赖关系，其中 yi ≈ h(zatt,i,θh)可写成
多项逻辑回归是将二元逻辑回归推广到多类问题，即标签yi∈{1,2，…， k}可以根据类的数量取k个不同的值。使用softmax函数将hθ (zatt,i)从二值问题推广到多类分类问题:
每个参数θh,j提供了对应属性zatt,i对预测类的定量贡献。这个逻辑回归在设计上是透明的，因为它符合[6]的算法透明性、可分解性和可模拟性的标准:
•算法透明:用户可以理解逻辑回归之后的过程，从输入数据产生任何给定的输出。只要将权重矩阵θh乘以属性向量zatt,i就可以得到预测yi。
•可分解性:逻辑回归的每个部分都是人类可以理解的，而不需要额外的工具。输入zatt,i，参数θh和计算是可解释的。
•可模拟性:逻辑回归具有完全被人类模拟的能力。它是自给自足的，足以让人类把它作为一个整体来思考和推理。为了使这个条件保持为真，逻辑回归的复杂性必须保持较低。因此，属性向量zatt、i和参数θh不能太大。
我们可以根据定制的模板生成解释，例如:
例1(说明)。模型预测这个属性向量zatt,i属于类yi，因为属性{zatt,i,1, zatt,i，…， zatt,i,k}都以{θh,1， θh，…， θhk}在训练数据集triples中。
根据3.3节的定义，我们的模型h: zatt→Y的解释函数Φ(h(zatt,i)) = θ⊺h zatt,i为:
•目的:作为解释，ei使用符号(zatt,i)和关系(θh,i)，这些符号和关系可以被人类用户概念化。
•Intrinsic:由于解释ei只依赖于原始模型h中存在的元素(zatt,i)、参数(θh,i)和操作
当将Greybox XAI框架应用于用例时，必须测量解释的有效性，因为该标准依赖于数据集。通过比较权重θh,i和专家知识库，可以很容易地测量这个概念。
4.2.3 训练潜空间预测器
潜空间预测器必须通过编码器-解码器架构，从 RGB 输入图像 xi 预测出分割图 zi。然后，该分割图将被矢量化为属性向量 zatt,i，从而构成可解释潜空间 {zi，zatt,i}。我们选择使用 DeepLabv3+ [87] 作为潜空间预测器，ResNet101 作为骨干模型。DeepLabv3+ 的特殊之处在于使用了无缝卷积，允许开发人员调整滤波器的视场以捕捉多尺度信息，同时还使用了深度可分离卷积。由于这是一项语义分割任务，我们使用 16 的输出跨度来进行更密集的特征提取，因为这是速度和准确性之间的最佳权衡。我们的目标是对整幅图像进行像素预测，而性能则是以各属性的平均像素交集-过联合（mIOU）来衡量的。
为了测试模型的性能，我们没有使用语义分割掩码图像，而是使用显示属性存在或不存在的边界框，以每周监督的方式对其进行训练[88]。我们的主要目标是建立一个可解释的潜在空间，尽可能考虑到每个属性的存在。因此，有必要对 xi 图像上存在的每个属性进行分割，但分割图不需要非常精确，因为分割后会进行矢量化。不属于任何边界框的像素被视为背景像素，而属于多个边界框的像素则被视为只属于最小的边界框。我们选择最小而不是最大的边界框，是为了避免丢失被大边界框所包含的小属性（例如脸部中间的眼睛）。
潜空间预测器的输入是 RGB 图像 xi，输出是维数为 h ∗ w 的分割图 zi，其中 h 和 w 是 xi 的维数。由于透明分类器不使用空间信息，我们从 zi 中提取一个属性向量 zatt,i，其中包含 zi 中每个唯一值的列表。为了只保留预测置信度高于一定阈值的属性，我们使用了置信度掩码。最后，我们使用单次编码获得一个由 0 和 1 组成的向量，描述输入 RGB 图像 xi 中每个属性存在或不存在的预测结果。由于这种提取方法不允许反向传播，因此潜空间预测器是通过最大化其 mIOU 来进行训练的。因此，训练潜空间预测器的目的不是直接预测一个好的属性向量 zatt,i，而是预测一个好的分割图 zi。请注意，这种分割图预测是不透明的，没有解释为什么某个像素被预测为代表某个属性。
2214
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
