联邦学习中潜在信息泄漏的分层表征LAYER-WISE CHARACTERIZATION OF LATENT INFOR-MATION LEAKAGE IN FEDERATED LEARNING

ABSTRACT

通过联邦学习训练深度神经网络允许客户端共享在其数据上训练的模型，而不是原始数据。先前的工作已经证明，在实践中，客户端与主要学习任务无关的私人信息可以从模型的梯度中发现，这损害了承诺的隐私保护。然而，目前还没有正式的方法来量化通过共享更新模型或梯度所泄漏的私人信息。在这项工作中，我们分析了属性推断攻击，并基于(i)经验v信息的适应和(ii)使用雅可比矩阵的敏感性分析定义了两个指标，该分析允许我们测量与潜在信息相关的梯度变化。我们展示了我们提出的度量标准在以分层方式本地化私有潜在信息方面的适用性，以及在两种情况下(i)我们了解或(ii)我们不了解攻击者的能力。我们使用三个基准模型评估了在三个真实数据集上量化信息泄漏的拟议指标。

1 INTRODUCTION

联邦学习(FL)允许客户端在其本地数据上联合训练一个模型，例如深度神经网络(DNN)，并与聚合接收到的更新的服务器迭代共享其更新。然而，人们发现即使共享私有数据的梯度也无法实现。DNN的参数不是隐私的灵丹妙药，因为这些梯度可能包含私人信息。

属性推断攻击(PIA) 在FL中旨在推断目标客户的一些私人信息，例如客户的属性，如性别或种族。虽然有一些作品关于DNNs w.r .t的记忆和泛化。dnn训练的主要任务，这些工作不能解释独立于主要任务的潜在信息的记忆。也有一些关于DNN学习表示的(分层)理解的工作(Zeiler & Fergus, 2014;Mahendran & V edaldi, 2015;Shwartz-Ziv & Tishby, 2017;Saxe等人，2019)，但他们提出的方法只提供了信息在正向传播过程中如何演变的见解，而对向后传播中捕获的信息的分析仍然缺失。

贡献。我们关注PIA如何利用计算梯度中显示的潜在信息这一开放问题，并表明香农互信息(Shannon, 1948)不能正确量化PIA的风险。我们建议采用更广义的信息概念，Vinformation (Xu et al, 2020)，也称为“可用”信息。这可以衡量分层的潜在信息隐私风险，并解释哪些层最容易受到PIA的攻击。此外，由于v -信息需要特定攻击模型家族的知识，我们进一步提出了基于梯度w.r.t敏感性分析的度量。潜在信息，更适合在模拟一般对手时使用。

2 PRIVACY ANALYSIS: METRICS FOR QUANTIFYING PROPERTY PRIVACY

威胁模型。我们的目标是表征财产隐私(Melis等人，2019;Hitaj等人，2017;Zhu等人，2019)，这是一种潜在的信息隐私，与输入隐私相反(Bonawitz等人，2017;Gu等人，2018)，指的是训练数据的隐私。我们的重点是可以从输入数据(例如人脸图像)推断出的属性(例如性别或种族)。由于FL中的客户端属性甚至可以从整个客户端数据上计算的平均梯度推断出来，与防止客户端输入数据的像素级重建相比，保护这些潜在信息更具挑战性。我们假设PIA对手A(例如服务器或恶意客户端)旨在通过观察服务器广播的梯度或更新模型来披露目标客户端(即受害者)的属性(Melis等人，2019)。我们假设客户端的私有属性与FL的主要任务无关。为了进行攻击，我们假设A可以观察到受害者发布的多个模型更新，并且A可以访问一些(公共)辅助数据。因此，A可以使用辅助数据和收集的模型更新来训练攻击模型，例如二进制分类器(Melis et al, 2019)，以发现受害者的属性。

3实证表征和验证

分层的隐私描述。分别在LFW、CelebA和PubFig三个数据集上训练，在AlexNet、VGG11Net和FCNet三个模型的每一层上测量v -信息和灵敏度。对于这三个数据集，FL的主要任务分别是学习“Gender”、“Glasses”和“Gender”，使用FedSGD的测试准确率LFW达到99%、99%、94%，CelebA达到87%、82%、84%，PubFig达到97%、98%、92%。如图1所示，PIA的AUC评分与v信息和灵敏度的预测模式相似;即第一FC层在财产信息方面具有最高的私人风险。更确切地说，它们都是有一个相似的模式，表明对于这三种模型，第4层，第9 /10层和第1层分别具有最高的隐私风险。

对多个属性进行验证。图2说明了FL的主要任务是对“眼镜”进行分类的情况，而PIA的目的是推断年龄、性别和头发的属性。我们在所有属性上观察到类似的PIAs模式。即VGG11Net中第9层，即最后一个Conv层之后的第一个FC层，仍然是泄露最多的属性信息。此外，V-information/Sensitivity与攻击AUC评分之间的相关系数(R与显著性水平p)如图所示，∆R为测量其他属性时的系数变化(即图1中的AUC评分)。我们观察到V-information对其他属性的预测能力下降，而灵敏度提高。在LFW上训练的图3显示，无论主要分类任务是什么，第一个FC层总是具有最高的(归一化)灵敏度。此外，我们观察到，在两个网络的第一个FC层(AlexNet的第4层和VGG11Net的第9层)，“性别”的敏感性低于其他层，而在下一个FC层，情况会发生变化;“性别”有很高的敏感性。由于“性别”是一个比“头发”颜色或“眼镜”是否存在更抽象的特征，结果表明，与其他属性相比，更高级别的属性在后面的层中往往更敏感。

4结论及未来工作

在这项工作中，我们提出了两个数学激励指标，V-information和灵敏度，并表明这些指标可以量化FL中的潜在信息泄漏。我们初步验证了它们在分层隐私表征方面的性能。

在未来的工作中，我们的目标是探索i)将指标应用于其他类型的数据集，包括时间序列或文本，ii)考虑不同级别的聚合设置，例如有更多的参与客户端，iii)指标如何有利于利用基于层的隐私测量的防御机制设计(例如Mo & Haddadi (2019);McMahan等人(2018))。结合所提出的度量标准，我们将更好地理解模型何时会泄漏FL中的敏感信息，并揭示设计灵活防御的机会，以便更好地在隐私保证和成本之间进行权衡