【论文翻译】Toward Learning Trustworthily from Data Combining Privacy, Fairness, and Explainability_【4】

Franco, D., et al. (2021). “Toward Learning Trustworthily from Data Combining Privacy, Fairness, and Explainability: An Application to Face Recognition.” Entropy 23(8).

4.0 提出的方法

在本节中，我们将介绍我们学习隐私、公平和可解释的深度ML模型的方法。特别地，我们将介绍基于HE的私有深度学习方法，展示在计算和操作方面隐含的限制（4.1）。然后，我们将介绍所选择的架构，特别是采用的人脸识别应用。考虑到HE的限制（4.2），我们提出的架构与经典架构有轻微的区别。在此分析之后，我么将介绍如何施加公平约束，在此考虑到HE的限制，采用公平表示的框架（4.3）。最后，我们将赋予我们提出的模型可解释性，即用于理解深度学习模型学到了什么，以及公平约束是否实际改变了架构从图像中学到的内容（4.4）。

4.1 让模型公平

如前所述，为了加强隐私，我们在深度学习模型的训练和预测阶段都依赖于HE。 在训练过程中，每个样本按照CKKS[102]方案加密为一个高阶多项式，该多项式掩盖了真实数据的属性和标签。 然后这些加密的值被提供给DNN, DNN输出加密的预测。 由于同态性，加密过的标签和预测可以通过损失函数进行比较。 损失函数需要用加法和乘法(CKKS所允许的唯一操作)来表示，因此多项式损失函数是最自然的选择(如均方差[144])。 在训练阶段，我们依赖梯度下降算法[66，145]，它本身只需要计算加法和乘法。 只有当深度学习模型的体系结构不包含特殊(非多项式激活)函数时，这是正确的，这些函数的导数不能很容易地用加法和乘法表示(这限制了我们的体系结构选择; 例如，无法部署广泛使用的RELU激活功能)。 CKKS属于Somewhat HE，它给加密数据增加了一定的噪声，噪声随堆叠层数的增加而增加[72,76]。 这一事实也限制了网络的深度。 最后，CKKS方案大大增加了存储和处理数据的内存和计算需求，进一步限制了我们可以用来训练网络的架构选择和数据数量。 请注意，还可以通过加密网络的权重来增强深度网络的隐私[146] (例如，避免或至少减轻对抗性攻击)。 加密/解密的过程是通过CKKS方案的python TenSEAL[147]库执行的，该库很容易与常见的深度ML软件框架(如PyTorch[148])集成。 还有其他更高效的库存在[149,150]，但它们很难与深层ML软件框架相结合。

4.2 模型架构

在这项工作中，我们将利用VGGNet-16[129] (配置D)作为人脸识别的体系结构。 基于VGG的网络采用了深度架构，为各种不同的任务提供了相当精确的结果，同时由于使用了小型过滤器，计算需求相对较低。 事实上，使用多层小核卷积层似乎比使用具有单层大核卷积层更可取，具有计算和泛化优势[129]。 此外，采用多层叠加允许通过在每个中间的步骤添加激活函数很容易地增加网络的非线性。 VGGNet-16通过1400万个参数将输入数据嵌入到25,088维的向量空间中，这允许在多个人脸识别相关任务中实现最先进的线性结果[122,131-133]。 由于这种复杂性，本工作中部署的VGGNet-16已经在人脸识别数据集VGG-Face上进行了预训练[151]。

然而，在这项工作中，由于如4.1节所述的HE所施加的限制，我们将需要脱离标准的端到端深度学习模型的使用。 卷积层需要保持固定，即仅用于提取嵌入。 事实上，要对它们进行微调，需要对整个体系结构使用端到端HE，从计算的角度来看，这是一个棘手的问题。 实际上，25088维的嵌入是不能直接使用的，和上面的原因（应该指的是小卷积核那里）是一样的，我们必须把它缩小到一个更小的嵌入，也就是，一个32维的嵌入，通过一个带有sigmoid激活的dense层。 这一层的参数，以及最后一个卷积层的参数，最初是在FairFace数据集上进行预训练的。 为了说明为什么我们选择32作为嵌入的尺寸，我们指出，管理在这个32维向量中嵌入的1000个图像需要大约30gb的内存(参见第5节的详细信息)。

实际的学习阶段是从这些固定的32维嵌入开始，使用一个由HE加密的隐藏层架构。 将32维向量输入到16维稠密层，该稠密层采用平方激活函数，满足CKKS限制。 这一层的输出被输入一个具有线性激活的二维密集网络。 我们没有因为单一的输出神经元能实现Grad-CAM可视化算法而采用它(见第4.4节)。 最后几层的参数按高斯分布N(0,0.01)随机初始化。