基于联合学习和集合模型的可转移面部图像隐私保护

---

摘要

脸部图像特征代表着重要的用户隐私问题。在现有的隐私保护方法下，人脸图像不能被私下转移，而且各种社交网络的数据分布也不均匀。本文提出了一种基于联合学习和集合模型的人脸图像隐私保护方法。通过联合学习的方式建立了一个基于分布式数据集的联合学习模型。在客户端，通过本地人脸数据训练得到一个本地人脸识别模型，并作为PcadvGAN的输入，对PcadvGAN进行多轮训练。在服务器端，建立了一个基于差分进化算法的参数聚合器作为PcadvGAN服务器的判别器，并同时集合了一个客户端的面部识别模型。PcadvGAN服务器的判别器经历了突变、交叉和与合集模型的交互，以揭示PcadvGAN模型的全局最优权重。最后，通过计算得到了PcadvGAN的全局最优聚合参数矩阵。服务器和客户端共享全局最优聚合参数矩阵，使每个客户端都能生成具有高转移性和实用性的私人人脸图像。目标攻击和非目标攻击实验表明，所提出的方法比其他现有方法更有效地生成高质量、可转移、稳健、仅有轻微扰动的私人人脸图像。

---

一、介绍

在希望表达自己、联系朋友和进行商业活动的网民中，社交网络的使用非常普遍。不幸的是，私人信息的泄露是一个比较常见的现象。例如，在2018年，超过5000万Facebook用户的私人信息被泄露，并被一家外部公司用于非法目的。关于网民的个人信息，大多数社交网络缺乏有效的隐私保护方法。犯罪分子和未经授权的各方可以出于各种目的获取互联网用户的个人信息。含有用户面部信息特征的图像可以用于面部识别和身份认证应用，因此也可以通过社交网络的数据挖掘来获取用户的私人数据。在社交媒体上存在着大量的公共人脸图像，它们不属于任何下载限制。如果它们被犯罪分子提取用于邪恶的目的，用户的隐私、安全和财产可能会受到威胁。考虑到用户隐私信息被泄露的频率，主动干扰人脸图像中的特征可能有效地保护用户的隐私。传统的人脸图像隐私保护方法涉及直接修改或删除人脸图像的敏感区域，这可能会破坏人脸图像上的有用信息并破坏其可用性。目前最常见的人脸图像隐私保护方法的基本原理是略微干扰图像特征，降低潜在人脸识别系统的准确性，同时确保图像仍然可以在社交媒体上使用。现有的方法主要包括基于梯度攻击的对抗性样本攻击和生成性对抗网络（GAN）。Liu等人[10]和Linardos等人使用快速梯度符号（FGSM）来攻击面部识别模型，对模型的梯度加入轻微的扰动以降低模型的准确性，并相应地保护私人面部图像。FGSM的主要缺点是，添加的扰动很容易被中值过滤，而且其鲁棒性相对较差。
还有其他有价值的文献贡献。Xiao等人提出了基于GAN的对抗性样本的生成，通过GAN向图像添加微小的扰动，促使目标识别模型走向错误分类。He等人提出用U-NET替代GAN生成器（PriGAN），生成的私有人脸图像在不破坏人脸图像可用性的前提下降低了社交网络中识别网络的准确性。Yang等人提出了一种基于对抗性阻断主成分的人脸图像隐私保护方法（PcadvGAN），在被阻断的人脸图像的主成分中加入轻微扰动，以保护图像中的面部特征不被轻易提取，同时保证其可用性。
犯罪分子使用的潜在面部识别模型的结构是无法预测的。对潜在面部识别模型的对抗性实例攻击，本质上是一种黑箱攻击。当扰乱人脸图像中的特征时，上述所有的对抗性样本攻击方法都试图通过单一模型的对抗性训练和可转移的对抗性样本来降低社交网络中潜在人脸识别模型的准确性。
然而，Yang等人的实验表明，如果社交网络中潜在的人脸识别模型与对抗性样本攻击中采用的单模型结构有很大差异，对抗性样本的可转移性就不足以抵御黑箱攻击。换句话说，以前建立的方法具有较低的对抗性转移性，导致社交网络中的面部识别模型的准确性无法有效降低，从而无法达到有效的隐私保护效果。
Liu等人和Tramèr等人建立了一种方法，即多个不同结构的模型同时进行对抗性训练，生成具有相同强度的对抗性例子，可以有效提高对抗性例子的可转移性，保护私人人脸图像。然而，这种方法需要高质量的人脸图像训练数据，在大量的；主要社交网络的数据必须被共享和整合，才能正常运作。考虑到行业竞争和复杂的管理程序，某个社交网络只允许用户数据存储在自己的服务器数据库中。因此，要整合来自不同社交网络的人脸图像数据是很困难的。即使人脸图像数据被成功整合，人脸图像隐私保护方法的可转移性和稳健性也无法得到保证。
本研究基于联合学习和集合模型对可转移人脸图像的隐私保护进行了研究。在现有的方法中，集合模型中每个模型参数的权重是相等的。
我们提出的方法将人脸隐私图像的生成过程视为一个多目标的优化问题，即生成的人脸隐私图像与原始人脸图像相似；同时必须误导多个不同结构的人脸识别模型。当多个不同结构的模型同时被训练时，每个模型的权重由服务器版的PcadvGAN来计算。PcadvGAN服务器版的判别器使用差分进化算法来解决多目标优化问题，并计算出综合模型的最佳权重。

二、相关工作

1.PcadvGAN

如上所述，给定的人脸图像中的特征产生了很大的私人用户数据泄漏的可能性。Yang等人建立了基于对抗性斑块主成分的PcadvGAN方法。在人脸图像被划分为区块后，提取区块图像的主成分并加入一个小的扰动。用GAN生成一个与原始人脸图像相似的图像。潜伏识别网络的驱动发生器生成的人脸图像的标签与原始人脸图像的标签不同。PcadvGAN的损失函数计算如下。

2.对抗性例子的可转移性

诸如这里讨论的模型在局部空间的决策面是相似的，所以产生的误差对抗性例子可以被推广到其他不同结构的模型。这就是所谓的对抗性例子的 “可转移性”，这个术语经常被用于提及黑箱攻击。对抗性例子的可转移性概念是由Szegedy等人首次提出的，在MNIST数据集的不同子集上训练具有相同结构或不同结构的模型，导致目标模型具有高置信度的错误分类。Papernot等人研究了对抗性例子在深度神经网络和其他模型之间的转移性，并通过替代模型的对抗性例子转移性对亚马逊、谷歌和MetaMind发起黑箱攻击。
与训练替代模型的方法不同，Cheng等人提出的方法以先验引入基于查询的攻击的转移梯度为中心，从理论上得出最佳参数，以减少成功的黑盒攻击所需的查询次数。Carlini等人提出了一种在不同规范下产生对抗性例子的方法，该方法在实验中显示出很强的可转移性。MoosaviDezfooli提出了一种通用的对抗性扰动算法，在不同的训练数据中加入相同的扰动会导致错误的分类，而不考虑具体的训练数据输入。
Liu等人提出了基于大规模数据集的集合模型的训练，该训练利用对抗性例子的可转移性实现了多个模型下的对抗性例子转移攻击。在目标模型和训练集的具体参数未知的情况下，该训练成功地对Clarifai.co进行了基于非目标对抗性例子和目标对抗性例子的黑盒攻击。社交网络中的人脸图像数据被归类为大规模数据集。所提出的方法是Liu等人提出的方法的改进版该方法提高了对抗性例子的可转移性，适合于生成私有人脸图像，同时保证了人脸数据共享的可行性和隐私性。

3.联合学习

联合学习的目的是在严格的隐私保护条件下建立一个基于分布式数据集的训练模型。这种模式解决了数据孤岛的问题，使多方能够协同处理大数据。联合学习消除了将社交网络中的面部图像数据集中在一个中央存储点的需要。相反，每个社交网络组织都会训练自己的模型，并最终通过聚合的方式产生一个全局训练模型。

三、基于联合学习和集合模型训练的面部图像隐私保护

1.基于联合学习的模型结构

图1给出了支持拟议方法的模型图。图1中的箭头代表数据传输的方向。在本案例中，服务器是一个诚实可靠的第三方安全计算节点，客户端是N个社交网络，用户数据持有者{S1, S2, … , SN }。. 所有的人脸数据都存储在客户端。在模型训练过程中，客户端不需要在任何时候上传人脸图像数据，但服务器和客户端确实需要进行多次交互。如下所述，所提出的方法分八个步骤操作。这八个步骤在图1中也有标注。

建议的方法的流程见表1。

为了让服务器生成私人人脸图像并防止客户的私人数据被泄露，服务器和客户都有相同的公共人脸数据集（如VGGFACE或自建数据集）。当客户端训练PcadvGAN时，他们将公共人脸数据集加入训练集和测试集。

在步骤1中，加密的用户ID对齐技术[33]被应用于管理社交网络中用户组的不一致性。社交网络中的用户ID被对齐，以确保N个客户端的重叠数据的标签空间是一致的，同时保护用户隐私，不泄露社交网络数据。

在步骤2中，面部识别模型可以由客户端自己定义或从服务器面部识别模型库中随机选择。客户端面部识别模型的训练数据集和模型结构对服务器来说是未知的。所提出的方法是基于对合集客户端的面部识别模型的训练。为了提高私人面部图像的对抗性例子的可转移性，客户端的面部识别模型需要一个相对较高的识别率。

在步骤4中，为了提高整个模型的训练效率，减少服务器和客户端之间的通信次数，在步骤5开始之前，对PcadvGAN进行多次训练，并确保损失函数相对稳定。

在第6步，PGS生成器加载聚合参数W，从预先存储在服务器上的公共人脸数据集中选择人脸图像，生成对抗性样本来扰乱原始人脸图像，并产生一个私人人脸图像。步骤6和7涉及使用PGS对服务器端全局模型参数进行汇总。PGS生成的私人人脸图像在训练后具有很高的可转移性，这也可能导致犯罪分子对面部识别模型集F′的错误分类，并具有很高的可信度。

如果用户A是某一客户端（社交网络）的新用户，该客户端的人脸识别模型无法识别他们，其PcadvGAN也无法生成对应于该用户的私人人脸图像X′。但是，如果用户A在其他客户端有大量的数据，所提出的方法允许这个客户端的PcadvGAN在加载服务器发出的参数后为用户A生成私人脸部图像X′。

2.PcadvGAN sever

---

总结

本研究开发了一种基于联合学习和集合模型的可转移人脸图像隐私保护方法。比较实验证明了它在生成隐私人脸图像方面具有优越的对抗性转移性、稳健性和实用性。所提出的方法也是能够在联合学习的框架下，为全新加入某个设计网络的用户生成私人面部图像。
实验结果表明，在训练模型集中，由更多类型的人脸识别模型生成的私人人脸图像贡献了更大的可转移性。在训练模型集中，与测试模型集结构相似的人脸识别模型的权重K比其他模型大。同样在训练模型集中，与测试模型集结构不相似的面部识别模型的权重K不为零，说明它产生的扰动对测试集中攻击结构不相似的模型有贡献。
如果在联合学习训练过程中，每个PcadvGAN的参数在每个客户端和服务器之间以明文方式传输，仍然存在隐私泄露的风险。在客户端的面部识别模型训练过程中，可以采用差异化的隐私保护方法来调整模型参数进行保护[43]。
否则，可以利用同态加密[24]在每个客户端和服务器之间进行传输。某些网络安全策略[44, 45]也可以被采用，以减少社交网络中分数阶恶意软件传播模型的威胁。在千兆位局域网环境中，所提出的方法一次迭代需要18分钟38秒。在未来，服务器端的进化算法可能被优化，以加快运行速度。