【论文翻译】Toward Learning Trustworthily from Data Combining Privacy, Fairness, and Explainability_【4.4】

Franco, D., et al. (2021). “Toward Learning Trustworthily from Data Combining Privacy, Fairness, and Explainability: An Application to Face Recognition.” Entropy 23(8).

4.4. Making the Model Interpretable

为了提供局部和全局解释，并且可视化CNN如何对输入的图像做出反应，我们分析了GradCAM得到的注意区域。特别地，GradCAM提取对特定监督学习任务最有影响力的特征的注意力分布图（如热力图）。当被应用于单个实例，它们能用作局部解释方法；当结果在实例的子集（如三十岁以上的男性）上做平均后，也能用作全局解释方法。当处理公平性的时候，注意力分布图能够突出不同受保护分组之间表示上的任何差异。

（省略一段带公式的）

由于体系结构的第一部分是未加密的（如图1b），当网络参数被加密或未加密时，用户（使用自己的私有设计）或模型设计者（使用一组不收隐私问题约束的数据）都可以很容易地检查网络。

在本文中，我们提取了相对于VGGNet最后一个卷积层的GradCAM注意力网络图。通常，早起卷积提取低级特征，深层卷积提取抽象特征，这对于人脸或图像识别等任务非常重要。注意，即使某些深层保持固定，仅对最后一层进行修改或者微调（如图b1），GradCAM也允许检查网络感知（修改或微调）。事实上，感知从输出传播到内部卷积层，这允许跟踪最后的权值的变化。

尽管基于梯度的方法可能不是视觉解释的最佳方法（如饱和度，零梯度图像区域，和输出分数中的假置信度现象。）但与其它方法相比，GradCAM的计算成本可以忽略不计，因为其它方法需要在每幅图像上通过多个网络。此外，在最近的几篇著作中，GradCAM被认为是参考方法。

第二种实现深度网络行为全局解释的方法是观察神经网络是否将输入数据映射到一个既能保证性能，又能屏蔽受保护的群体中的成员的空间中。固定一个内部网络层，这项任务可以通过将该层的原始空间的维度降低到一个低维（可能是二维）并且更易于解释的维度来完成。在本文中，我们依靠t-SNE算法来有效地进行这种降维。作为一种无监督的方法，它使评估隐藏与任务相关的信息的被提取特征的统计分布变得有可能，这可能产生不希望地曲扭。

t-SNE首先计算点在高维空间和相应的低维空间中的相似度。相似度通过计算一个点P1，遵循一个以P1为中心的高斯分布，会选择点P2作为它的邻居的条件概率得出。然后，通过用梯度下降的方式最小化所有数据点上的Kullback-Leibler散度之和，以试图最小化这些条件概率在高维空间和低维空间的差。

在本文中，我们直接将t-SNE应用于提出的体系的16维嵌入。（因为它是唯一一个随训练阶段而变化的嵌入）

对经典架构（图1a）而言，25088维的嵌入太大了，不能直接提供给t-SNE算法。因此，我们将采用两步方法来有效地降低其维数。第一步是监督的（通过L1正则化逻辑斯蒂回归），第二步是无监督的（通过t-SNE）。第一步允许我们删除对所检定的分类任务没有贡献的特征。第二步允许我们评估剩余特征的统计分布，这些特征隐藏了跟任务相关的统计信息，可能导致不想要的失真。正如深度网络里常发生的那样，表示向量有大量的元素（用于解决多种问题），但是解决特定的问题只需要其中一部分。利用L1正则逻辑斯蒂回归可以丢弃对任务解决方案没有贡献的特征，以此降低空间维度，直至仅包含所考虑任务的特征。由于t-SNE是一种计算要求较高的算法，常采用基于PCA的预降维步骤。