联邦学习（FL）可以在不需要原始数据暴露的情况下，在多个客户之间进行协作模型训练。然而，最近的研究表明，客户的私人训练数据可以从他们在FL中共享的梯度中重建，称为梯度反演攻击（GIAs）。虽然GIAs

联邦学习（FL）可以在不需要原始数据暴露的情况下，在多个客户之间进行协作模型训练。然而，最近的研究表明，客户的私人训练数据可以从他们在FL中共享的梯度中重建，称为梯度反演攻击（GIAs）。虽然GIAs在理想设置和辅助假设下证明了有效性，但它们对实际FL系统的实际有效性仍未得到充分探索。为了解决这一差距，我们在本研究中对GIAs进行了全面的研究。我们从对GIAs的调查开始，它建立了一个里程碑来追踪它们的进化，并发展了一种系统化的方法来揭示它们固有的威胁。具体来说，我们根据现有GIAs对潜在对手的实际可访问性，对其使用的辅助假设进行了分类。为了便于更深入的分析，我们从三个角度强调了GIAs在实际FL系统中所面临的挑战：本地培训、模型和后处理。然后，我们利用8个数据集和13个模型，对不同环境中最先进的GIAs进行了广泛的理论和经验评估。我们的fi

以及苹果的Siri [109]、医疗保健[111]，[112]和金融[113]，[114]。然而，最近的研究声称，客户的数据隐私可能会被他们的梯度共享在FL [19]，[20]。值得注意的是，一个奇怪的中央服务器可以通过使用梯度反转攻击（GIAs）[20]来重建它们的私有数据。图1描述了GIA的发展和里程碑，展示了两种形式：基于优化的GIA：初始GIA假设了一个诚实但好奇的服务器，并采用基于优化的方法被动地重建受害者客户端的训练数据[19]，[20]。在这种方法中，对手（服务器）随机初始化数据和标签，基于与受害者客户机相同的模型计算梯度，并通过最小化计算的梯度与客户机共享的梯度[19]之间的差异来迭代更新这些初始化，以反映地面真相。随后的进展旨在通过假设对手不仅拥有梯度，而且还拥有辅助知识，重建更大批或更高分辨率的数据，如批归一化（BN）统计[83] [3]，客户的数据分布[4]，[5]

基于分析的GIA：基于分析的方法旨在通过制定和求解梯度和输入[30]，[31]之间的方程来直接重建训练数据。最近的研究工作已经将这种方法扩展到处理更高维度的输入，假设一个恶意服务器能够主动制作[33]，[35]或修改[22]，[34]，[36]，[37]模型参数。因此，当客户端将其私有数据输入到恶意模型中时，这些输入会在共享梯度中留下一个“印记”，使服务器能够通过求解方程来检索它们。尽管GIA的快速增长和令人印象深刻的性能，但人们仍然怀疑的是，它对其实际能力和对实际FL系统的威胁，正如经常所说的那样。一方面，现有的工作倾向于痴迷使用辅助假设来提高性能。回顾这些里程碑，Yin等人[3]假设对手拥有作为边信息的BN统计信息的额外访问权，而Lam等人[96]则放松了服务器

假设到恶意的程度，允许对手不切实际地篡改模型。另一方面，这些工作经常在远离实用性的环境下评估GIAs。例如，文献经常假设一个特定的客户机将所有私有数据聚合到单个批处理中，并经历一个单一的模型更新步骤，从而使对手受益。然而，在实际情况下，梯度通常是在小批随机梯度下降（SGD）和多历元训练[15]之后上传的。此外，产生梯度的模型通常是专门初始化的[19]或设计的[2]，[3]，仅仅是为了有利于对手和获得优越的重建质量。在这项工作中，我们对GIA进行了全面的研究，以更好地了解它的性质和对实际FL系统的实际威胁。具体来说，我们做出了以下关键贡献： I.一个关于GIA的调查。我们首先对GIA的发展进行总结。据我们所知，我们是第一个全面回顾GIA相关工作的人，突出了性能方面的里程碑和突破，如图1所示。此外，我们还进行了一种系统化的研究方法

从上述三个方面对GIAs进行全面的理论分析和实证评价。4, Sec.5、和秒。在不同地区的8个数据集和13个模型上设置。我们的研究结果显示，尽管GIAs声称其有效，但仍存在不可避免的瓶颈和限制。与预期相反，它们对实际的FL系统的威胁最小，以下观察结果证实： (1) GIA在对FL的数据重建中有不可避免的瓶颈。我们从培训配置和培训数据两个方面研究了客户的本地培训对GIAs的影响。具体来说，我们从理论上证明了随着基于sgd的本地小批更新数量的增加，重建变得更加困难(秒。4.1).此外，我们评估了最先进的GIAs在重建具有广泛的批大小（从1到100）和分辨率（从32×32到512×512）的数据方面的能力。我们的分析揭示了GIA随着数据维度的增长而重建数据的瓶颈。4.2.1).同时，我们是th

1. GIA对模型非常敏感，包括训练阶段和架构。我们提出了一种新的输入梯度平滑性分析（IGSA）方法来量化和解释该模型在FL训练过程中对GIA的脆弱性(秒。5.1).令人惊讶的是，我们的发现表明，GIA只在训练的早期阶段工作。此外，我们还对模型架构和GIA之间的强相关性进行了首次调查。我们结合的理论和实证分析强调了通常使用的结构(如跳过

连接[48]和Net-In-Net（NIN）[68])，甚至是看似无关紧要的微设计（例如，ReLU，内核函数大小等），显著影响了模型对GIAs的弹性(秒。5.2).(3)在实际的FL系统中，即使是应用于梯度的琐碎的后处理措施，也可以有效地在保持模型精度的同时抵御GIAs。我们评估了四种后处理技术，考虑到在一个实际的FL设置中的隐私-效用权衡。我们表明，即使面对最先进的GIAs，客户也可以很容易地通过使用后处理策略（例如，量化[77]，稀疏化[80]）来掩盖共享的梯度(Sec。 6).

1. 梯度反转2.1的系统化。系统模型我们考虑一个由服务器和M个客户端组成的FL系统，每个客户端都有一个私有的训练数据集，其中包含N个数据样本，由数据对(x)和标签(y)表示。M客户端在服务器的协调下，在T轮中协同训练一个全局模型Wg。在每一轮t中，服务器从M中选择K个客户端，并将当前的全局模型Wt g发送给它们进行本地培训。每个客户端k使用批量大小为=的小批量SGD执行一次本地训练。因此，每个客户端执行U = EN/B本地更新。E和B的不同配置产生了两种不同的局部训练协议：(1)FedSGD（联邦随机梯度下降）[92]：每个客户端k将所有N个局部训练数据样本聚合为一批（B = N），并执行一个单一的局部训练时代（E = 1）。因此，全局模型Wt g经历了一个唯一的更新（U = EN/B = 1）。计算出的梯度∇kWtg被上传到服务器。服务器聚合收集到的梯度并更新全局模型如下： Wt g +1←Wt g + η P K k=1∇kWtg。(2)FedAvg（联邦平均）[15]：客户端k执行E > 1 epoc

1. 目标。对手的目标是重建生成共享梯度的客户端数据(x)和标签(y)。对GIA（如[19]）的初步研究旨在同时重建数据x和从梯度中标记y。随后的研究[3]，[23]揭示了标签从梯度中得到的直接推断。因此，大多数GIA的研究都集中在数据重建[3]上，因为数据是对手的主要目标。同时，[28]、[94]、[95]等研究探索了标签推理，这具有双重含义：首先，对标签的预先了解有助于后续的数据重建。其次，标签本身包含敏感信息，揭示了诸如用户的购买历史（在在线广告中）或他们的健康状况（在疾病预测中）[97]等细节。到目前为止，GIAs已经展示了从全批[3]、[27]、[93]、[95]、[118]或多个小批[28]、[94]中推断标签类（类）[3]的存在以及每个类（实例）[95]中的实例数量的能力。(2)容量和服务器的可信度。大多数现有的GIAs都认为是诚实但可靠的

1. 假设。假设指定了对手的知识和行为。根据GIA的演变，不同的假设不仅为对手提供了额外的优势，而且也是导致某些GIAs [26]所宣称的性能的关键因素。在此，我们根据它们在实际的FL系统中对对手的可访问性，对现有的假设进行分类和排序，并将它们分配到附录中的每个工作中。[0级]：基本信息是指梯度反演的需要，包括梯度、模型、数据维度、客户端数据样本数N，在实际FL系统中服务器很容易访问。[级别1]：先验指的是边信息，包括已建立的数据模式或对梯度的观察。例如，Geiping等人在[2]中利用总变异[25]作为先验，反映了相邻像素之间已建立的平滑度模式，有效地调节了优化过程，提高了重建质量。此外，某些先验源于对梯度的观察，例如，Lu等人在[8]的发现中

[级别2]：数据分布是指客户机的本地数据集的统计特征。了解这个分布可以使对手能够预先训练生成器，从而提高数据重建性能[4]、[5]、[9]、[20]、[51]、[120]、[121](在等式中进一步阐述 (2)).在FL中，客户端不被要求向服务器披露他们的数据分布。然而，给定服务器对任务的近似知识，它偶尔可以使用开源的大规模数据集来估计分布。例如，如果服务器知道客户端拥有面部数据，那么它可能会使用像FFHQ [99]这样的数据集来进行生成器的预训练。[级别3]：客户端培训详细信息指的是诸如本地学习率、时代、小批量大小等设置。Xu等人在[29]中引入了一种能够在FedAvg中快速逼近客户端多步骤更新的GIA，因此需要访问这些培训细节。但是，服务器通常无法使用这些信息。[级别4]： BN统计量是：在BN层上获得的批处理数据的平均值和方差，反映了输入特征。他们最初是

[级别5]：恶意行为包括对手主动操纵FL中的协议[96]、模型和其他组件，以提高基于分析的GIAs的性能。现有的研究主要集中在制作[32]、[33]、[35]或修改[22]、[34]、[36]、[37]、[119]模型参数上。值得注意的是，最近的工作[22]，[32]假定在模型的前面存在一个大的全连接层，但这种异常的设计可以很容易地检测到。因此，这些行为缺乏稳健性和适用性。总之，在实际的FL系统中，0级和1级是对手很容易获得的假设。另一方面，第2、3和4级被认为是强有力的假设，因为实际客户不需要向服务器提供这些信息，尽管对手在某些情况下可能会近似或获得这些信息。此外，我们认为恶意行为（第5级）在实际的FL系统中是不切实际的，因为它固有的缺乏稳定性。

2.3.攻击GIAs采用了两种主要的攻击策略，并涉及到基于FL任务的性质的几种模式。(1)公司的策略。GIAs所采用的攻击策略可分为两种形式：基于优化的和基于分析的，如图1所示。基于优化的GIA过程包括从随机初始化到近似的损失函数的引导梯度相似度的迭代。根据优化空间，它可以进一步分为两个主要的子形式：具有可观测空间优化的梯度反转攻击（GIA-O）[2]，

1. [6]-[8]，[10]和梯度反演攻击与潜在空间优化（GIA-L）[4]，[5]，[9]。1) GIA-O：在第t轮训练中，受害者客户持有N对数据x和标签y，在本地训练后将其梯度∇W共享给服务器（B≤N，U≥1）。对手获得∇W，生成N对随机初始化的数据x‘，并以相同维度的客户端数据标记y’。随着梯度相似性的丧失，这N对初始化将被更新，直到它们接近原始的（x，y）对：定义1（具有可观测空间优化的GIA）。

其中Dist（·）为两个向量之间的距离度量（如欧氏距离[19]、[20]和余弦相似度[2]），R表示正则化项，如总变异量[25]和BN统计量[3]，α为加权因子。2)GIA-L：GIA-L背后的基本概念反映GIA-O，尽管有区别： GIA-L涉及初始化和优化N对潜在向量z和标签y，其次是重建私人数据利用生成模型称为g.定义2（GIA与潜在空间优化）。

GIAs的另一种变体，被称为基于分析的，它专注于通过建立和求解梯度和输入之间的方程系统来精确地重建训练数据。这种方法最初局限于浅层网络[30]和单个图像重建任务[31]，但面临着瓶颈。因此，后续的研究假设有一个恶意服务器制作[33]、[35]或修改[22]、[34]、[36]、[37]模型参数。这样的假设旨在建立更多的方程，使数据能够有效地推导。尽管如此，目前基于分析的GIAs在实际的FL系统中难以确保效用和稳定性之间的平衡： (1)在没有恶意行为的情况下，对手只能在浅层网络中重建一个图像，而使用它们，(2)攻击有容易被客户端检测到的风险。因此，我们在这项工作中不纳入基于分析的GIAs。(2)运动形态。如图1所示，大多数相关的工作都集中在计算机视觉（CV）任务上。最近的工作已经开始研究自然语言处理（NLP）[7]，[9]，[85]任务中的GIAs。尽管他们取得了显著的成就，但GIA作为N从原文“猫在垫子上”中进行的修改。到像“猫在帽子上”这样的重建版本。虽然只有一个字母的差异，但这种差异可能会极大地改变其含义，导致微不足道的隐私泄露。此外，Vero等人最近在[11]上进行的一项研究探索了GIA在表格数据上的适用性，这代表了迄今为止同类数据的单独努力。2.4.防御加密方法，如安全多方计算[100]、[101]和同态加密[102]-[104]，已应用于各种隐私保护任务。然而，在FL系统中，这些技术通常会导致大量的计算和/或通信开销，或精度降低[105]。因此，最近的研究主要选择干扰表征[106]、[107]或使用梯度[5]、[19]的后处理作为对GIAs的防御机制。表示扰动依赖于这样一个前提：如果正向传播过程中的表示被扰动，所产生的梯度将难以准确地传递关于输入的特征。几种方法我们的重点是：为了探索实际FL系统中GIAs的真正威胁，我们的研究假设对手是一个诚实但好奇的服务器。由于其适用性和广泛的兴趣，我们专注于基于优化的图像重建任务。此外，由于梯度后处理技术在实践中的普遍应用，我们认为它们是一种防御方法。 3.在本节中，我们从三个角度讨论了本地培训、模型和后处理在实际训练中的FL系统中遇到的挑战。我们的目的是通过对实践中的GIAs和现有文献中记录的问题进行比较分析，提取6个关键的研究问题（RQs）。3.1.本地培训(1)培训配置。现有的文献通常假设受害者客户端将其所有本地数据合并到一个单批（B = N），并在一个步骤（U = 1）中更新Wt g，以计算和共享梯度∇Wt g服务器这个梯度∇Wtg是潜在GIAs的基础。然而，在实际的FL系统中，客户端在执行B≤N的基于sgd的多个epoch（E>1）局部训练后共享训练过的局部模型Wt k +1，从而产生U = EN/B本地更新次数。因此，对手只能通过Wt k +1−Wtg访问模型更新，其中梯度已经被平均和压缩，这对数据重建带来了重大挑战。基于这些讨论，我们的目的是回答以下关键问题：RQ1：客户的培训配置如何影响GIAs的数据重建？(Sec.4.1) (2)培训数据。为了追求最佳性能，现有的GIA研究通常使用相对较少的低维输入（例如，8张分辨率为32×32的图像）。然而，实际培训涉及相当大的批量和分辨率；客户通常使用16、32或64图像[15]批次训练模型，图像分辨率为64×64或128×128。这对GIAs带来了挑战，因为更高的维度意味着更复杂的重建任务。此外，还有另一个过度的现象3.2.该模型在将训练数据映射到梯度的过程中起着至关重要的作用。然而，文献似乎低估了它的重要性，经常通过评估特定的模型（如MLP，LeNet）或精心选择的模型架构（如ResNet-50 [3]，使用MOCO-V2[63]预训练的[6]）来支持GIAs的性能。此外，[2]、[4]、[19]、[23]还对均匀分布的模型进行了实验，这可能通过梯度为对手提供更多的信息。然而，在实践中，对手在FL训练中捕获的模型上发射GIA，而不是使用专门定制的模型。此外，文献通常将模型架构视为黑盒，尽管它们对GIA的影响直接相关，但并没有彻底研究它们对GIA的影响，这可能对GIA的性能产生不可忽视的影响。因此，我们有以下问题：

RQ4：GIAs在不同的FL训练阶段获得的模型上的表现如何？(Sec.5.1)RQ5：模型架构如何影响其对GIA的抗性？(Sec.5.2) 3.3.后处理在现有的文献中，对手通常直接获得梯度，没有任何混淆。然而，在实际的FL系统中，客户通常在共享它们之前对梯度执行后处理。例如，在共享[14]之前，梯度通常被量化以减轻通信开销。本质上，后处理诱发了梯度漂移，对对手构成了挑战，干扰了FL训练。这就导致了一个有趣的权衡问题：RQ6：后处理能在确保模型效用的同时自然地抵御GIAs吗？(Sec.6) 4.局部训练评估客户的局部训练，指定训练数据以及如何利用训练数据来计算梯度，有可能影响对手在重建数据时的表现。在本节中，我们将研究客户的本地培训如何影响实际FL系统中的GIA，并考虑了两个关键方面：培训配置和培训

针对多个更新。我们考虑这样一个场景，即客户端拥有N个数据样本并配置B = N。在W0上执行U更新时，客户端将WU上传到服务器。我们首先，在一个二元分类问题的背景下，对关于多个局部更新的GIA进行了理论分析。随后，我们提供了对实际分类任务的实证评估。理论分析。考虑一个二进制分类任务（y∈{−1,1}）和一个具有单层的全连通模型（忽略偏差）：f(x)=Wx，

图2：实际FL系统中的局部训练配置（以E = 1为例）。

(1)如果U = 1：对手可以通过W1−W0η计算梯度∂ℓ∂W0。然后，可以根据等式来确定µ和x(6)和(7)，分别如图3所示，使用µ0和x0。这表明，当客户的本地培训只涉及一次更新（U = 1）时，就存在明确的对应关系

表1：针对本地更新的GIA（LPIPS↓）。数据集GIA的更新数量(U)1 2 4 6 8 CIFAR10GIA-O0.0374 0.0933 0.1508 0.1917 0.2089 GIA-L0.0608 0.104 0.1332 0.1891 0.1917 CIFAR100GIA-O0.0.0061 0.0455 0.1248 0.163 0.2305 GIA-l0.0.0382 0.0578 0.1222 0.1712 0.1886 之间的梯度，使对手推断x使用优化器（例如，Adam [45]）梯度相似的损失函数。(2)如果U > 1：在这种情况下，对手可以获得WU和W1，但不知道U，如等式所示(8)，小批量SGDU步骤后的更新等于： WU−W0 η =∂ℓ∂W0+∂ℓ∂W1+···+∂ℓ∂WU−1=∂ℓ∂W0+U−1Xu=1∂ℓ∂Wu=∂ℓ∂W0=∂ℓ∂µ0 x0y。(8)然而，与地面真实梯度∂ℓ∂W0相比，梯度WU−W0η包含U−1冗余项，从而导致µ和x被混淆。图3给出了两个由于累积项而导致的梯度不正确的例子，这导致了求解的µ1和µ2从µ0中漂移。因此，重建的x1和x2也不同于x0。因此，多个本地更新会混淆了GIA。实证分析。为了实证验证我们的理论结论，我们评估了两种SOTA GIAs (GIA-O与pT V和GIA-L wit

4.1.2.评估GIA和小批量SGD。在这里，我们讨论了一个更实际的场景，即客户端有N个数据样本，并在几次本地小批SGD更新（B < N，U = N/B）后共享WU。对手确定B的值是至关重要的。案例1：在文献中，假设对手知道B，使他们能够使用N个随机初始化模拟客户端的小批更新，以更接近WU−W0η。案例2：但是，在实践中，客户端没有义务向服务器提供本地培训细节，因此对手只能通过执行来近似于更新

SGD（B = N，U = 1）与N个样品。我们在这两种情况下评估GIAs，其中对手已经已知或未知的B，如Tab所示。 2.我们通过改变数据集CIFAR10（B = 4）和CIFAR100（B = 8）上的N/B值来调整小批次的数量。结果表明，在相同的设置下，如果对手知道B并通过模拟客户端的本地更新过程来执行攻击，如案例1所述)，则会成功重建。如果B是未知的，在有限的小批次（例如N/B = 1或2）下重建仍然是可行的。然而，随着数量的增加，重建失败（用粗体的LPIPS值超过0.1表示），因为仅仅依赖SGD的单个步骤来接近整个局部训练是不够的（如案例2所述）。（洞察力4.1）训练配置显著地影响了GIA的有效性。具体来说，随着局部小批量SGD更新数量的增加，训练数据的重建变得越来越具有挑战性。4.2.训练数据GIA的主要目标是重建训练数据。为了研究其影响，我们评估了GIAs在两个基本da上的性能

4.2.1.用宽维来重建数据。在CV任务中，数据维度与分辨率和批处理大小相关。在这里，我们演示了GIAs如何在不同的维度设置中执行（批处理大小1∼100，图像分辨率32×32∼512×512）。我们评估了基线G（只有梯度匹配损失的GIA-O）和三种SOTA GIAs：G+pTV（具有先前总变异[2]的GIA-O）、G+pBN（具有先前BN统计的GIA-O[3]）和G+gen（具有生成知识的GIA-L[4]，[5]）。实验设置：我们在CIFAR10、CIFAR100和ImageNet-1K [42]上使用ResNet-18评估FedSGD [92]下的GIAs。GIA的性能采用LPIPS方法进行测量。详细的设置在附录中提供。图4为统计结果，其中部分快照如图5所示。我们的研究结果表明，(1) GIA在重建低维数据（分辨率< 64×64和批量大小< 30）方面表现良好，但在重建高维数据方面存在困难。从图4a可以看出，对手可以重建分辨率小于64×64像素的图像，但当像素出现时，四种方法都不能重建质量可接受的图像（即LPIPS大于0.3）的图像

各种内容，可能会影响GIA的表现。真诚地说，GIAs的有效性真正体现在它们重构包含重要私人信息的语义细节的能力上。图6显示了人脸图像的重建情况。虽然重建的结果可能会获得相对较高的相似性，但它们只是由于面部细节的差异而代表了微小的隐私泄漏。同时，GIA-L利用公共数据来训练生成器，旨在重建客户的私有数据。两种数据分布之间的差距影响了GIA-L的性能。图6显示，重建非分布（OOD）图像比重建同分布（ID）图像要困难得多。在本小节中，我们评估了GIAs在重构包含丰富语义细节和分布外（OOD）的数据中的作用。一.数据中的语义细节降低了GIAs的有效性。为了揭示语义细节对GIAs的影响，我们选择了两种类型的攻击：先验包括pT V和pBN的GIA-O，以及使用IigGAN预训练的ImageNet生成器[44]的GIA-L。并进行了实验

图7：未能重建语义细节，有限的隐私泄漏。（左：地面真相，中间：GIA-O的结果，右：GIA-L，LPIPS↓的结果）。实际上不同于客户端的数据分布，因此引入了一个潜在的OOD挑战。然而，GIA-L的OOD问题还没有得到很好的讨论。因此，我们提出了一种新的OOD-Test集，然后进行实证评估来检验GIA-L的泛化能力。我们的OOD-Test集由四种不同的OOD类型组成，旨在评估GIA在不同内容中的重构和泛化性能。•放置在涉及复杂背景信息的图像中测试GIA-L的性能。它是由Huang等人[56]策划的场所365[55]的一个子集，包含来自50个类别的9822个典型环境，它们不存在于ImageNet-1K [42]中，在最近的作品[56]-[58]中被广泛用作OOD测试集。在这里，我们在图8中展示了来自干草田、泻湖和海洋类别的两个代表性样本。•纹理测试了GIA-L在重建复杂模式中的性能。该数据集包括横跨47个纹理类别的5,640张图像[5]

图8：OOD画廊-测试集和GIA-L的重建性能。(左：地面-真相，右：重建图像，LPIPS↓。每一列都是一对具有相似标签的样本，Up：来自ImageNet-1K [42]（ID）数据集的样本，底部：来自OOD数据集的样本)。分别见图8。另一个例子涉及到不同风格的吉他。GIA-L只能重建广泛识别的特征，如弦和声孔，但不能准确地描绘艺术或卡通风格的吉他的外观。（Insight 4.2.2）(2) GIA-L显示了有限的泛化能力，难以有效地重建OOD数据。 5.对模型的评价该模型确定了从训练数据到梯度的映射。在FL训练阶段，对手在一个特定的阶段（轮）获得一个特定的模型及其相应的梯度。在本节中，我们将从阶段和架构的角度来研究该模型对梯度反演的影响。为了说明和量化该模型对GIAs的脆弱性，我们引入了一种新的输入-梯度平滑度分析（IGSA）方法。通过IGSA，我们通过经验来评估

景观可以是光滑的，也可以是振荡的。一个平滑的函数，其特征是温和变化的梯度，有助于识别全局最优。相应地，随着损耗的减小，重建的图像变得更加清晰，如图9a所示。相比之下，一个振荡函数，以显著变化的梯度为标记，导致局部最优，并破坏优化过程[12]。图9b说明了振荡景观如何使定位最佳重建的任务复杂化。因此，我们提出了一种新的方法IGSA来表征模型对GIAs的弹性。首先，我们使用雅可比矩阵来计算“输入梯度”函数Φ（·）的一阶微分，它反映了梯度在输入扰动下的剧烈变化： J (X) =∂Φ(X)∂X。(9)然后，我们利用半径r内的K个样本来估计IGSA值。此外，考虑到梯度跨越了L层，我们构造了一个向量ω = SoftMax（[L，L−1，……，1,0]）。当平均l2范数时，这个向量给浅层更大的权重。IGSAX = 1 E∆x [∥Φ(X) − Φ(X + ∆X) · ω∥2 ] = K P K

图10：模型在FL训练中对GIA的阻力。模型的测试精度：测试精度↑，重建质量：PSNR↑，抗GIA：IGSA↓。灰色区域表示GIA有效的回合，其他区域表示GIA无效的回合。每一分平均是五轮比赛。通过PSNR（峰值信噪比），同时评估模型的精度和IGSA值。为了提高演示的清晰度，我们在图10中每五轮结果。更多的细节见附录。图10显示了9种模型在训练期间对GIA的弹性。我们可以直观地观察到，梯度反演只在FL训练的早期阶段起作用。例如，在Vgg-11模型中，最初的PSNR值很高，但随着训练过程的继续，在大约15轮测试后，它始终保持在10以下，这表明重建图像中私人信息的泄漏减少了。此外，通过结合测试精度曲线，我们注意到GIA构成威胁的轮通常与模型未拟合的轮相一致。一旦精度稳定

反向传播路径和梯度计算，从而可能影响GIAs。在本小节中，我们从结构和微观设计两个角度来研究模型架构对GIA的影响。5.2.1.模型结构：一把双刃剑。模型结构是指层之间连接的方式。早期的模型，如Vgg [50]，都是按顺序连接起来的。后来，为了减轻梯度消失的[48]，增强特征提取能力，跳跃[48]和并行[68]结构开始出现，并逐渐成为模型设计的支柱。在本小节中，我们将通过在实践中广泛使用的两个案例来探讨模型结构对GIA的影响：跳过连接[48]（在ResNet和DenseNet家族等模型中使用）和网网[68]（在谷歌网和其他控制网家族等模型中使用）。I.跳过连接是深度神经网络中广泛使用的一种结构，它有助于解决训练[48]过程中的梯度消失问题。它通过在非相邻层之间创建直接连接，使特性从一个层流到另一个层。一般来说，有两种常见类型的跳过连接，它们是从

图13：跳过连接的位置影响GIA。N（No Cut）表示具有完全跳过连接的原始模型，然后Id表示切割Id连接的模型，用较深的颜色表示较深的位置。对于ResNet和DenseNet，更深层次的梯度通过添加或连接传递到前层(⊕表示等式中的两个操作 (12)):

与等式相比（11），在等式的梯度中还有一个残差项 (12).对于具有跳过连接的模型，残差项与反向传播累积相乘，因此梯度可以包含更多的组合，从而防止梯度消失，同样也允许GIAs利用更多的信息。然后，我们分别基于resnet和密度网验证了跳过连接对GIA的影响。首先，我们评估了在不同位置的切割跳过连接如何影响ResNet-18和ResNet-34上的GIA，如图13所示。我们发现(1)跳过连接的存在提高了GIA的性能。图13显示，原始模型（即N）比其他有连接切断的模型更容易受到GIA的影响。此外，在任何位置切断跳过连接都会显著降低GIA的有效性，甚至导致重建失败（LPIPS > 0.1）。此外，我们发现(2)跳过靠近浅层或深层的连接对GIA有更大的影响。图13b显示，切割浅层连接(#0、1、2）和深层连接（#12、14、15）大大恶化

此外，我们还探讨了跳过连接的数量对GIA的影响，并考虑到它们的密集性。我们选择DenseNet-43和DenseNet-53 [74]作为基线，并通过采用不同的切割策略[74]获得两个变体。如图14所示，减少跳过连接的数量，极大地影响了GIAs的性能。在基线中很容易倒置的图像在变体-1中很大程度上是无法识别的。此外，GIAs完全无法从变体-2中转换任何信息。减少神经网络模型中跳过连接的数量可以减少反向传播路径和残差项。这导致梯度变得信息更少，这反过来限制了GIAs的有效性。（Insight 5.2.1）(1)跳过连接缓解了梯度消失（pro），同时增加了反向传播的路径并引入了残差项，使对手能够从梯度中获得更多的信息（缺点）。II.[68]中提出的网络内网（NIN）是一个在单个块中集成多尺度卷积内核的模块，如图11b所示。本质上，NIN工作

NIN块对于GIAs是必不可少的。（Insight 5.2.1）(2) NIN利用多尺度核进行更强的特征提取能力（Pros），同时在反向传播过程中需要对多个核进行不同的更新，这提供了信息梯度，有利于GIAs（Cons）。5.2.2.微设计：小线索揭示了总体趋势。微设计是在几乎所有的现代模型中都无处不在的一种微妙的技术。为了研究它们对GIA的影响，我们评估了六种普遍的微设计：偏置、激活函数（ReLU）、退出、最大池化、卷积内核（大小）和填充。特别是，我们对一个可配置的模型，ConvNet [2]进行了一系列的修改，它只包括与微设计相关的组件。通过这种方式，我们可以控制变量，并检查特定的微观设计对GIA的阻力。标准的ConvNet包含偏差，采用ReLU函数，并包括两个最大池化层和一个退出层。此外，所有的卷积层都配备了3个×3的内核和填充物(1)。详情见附录。我们的研究结果表明，微观设计显著影响了模型对t的阻力

（洞察力5.2.2）微设计影响模型的特征图和输入之间共享的信息量，从而影响梯度，并显著影响GIAs的性能。 6.在实际的FL系统中，客户端通常在与服务器共享梯度之前，将梯度应用于后处理技术。这些方法混淆了共享的梯度

为客户提供针对GIAs的潜在防御能力。在本节中，我们研究了四种常用的后处理技术在实际的FL设置下抵御GIAs的有效性。此外，我们还评估了它们解决模型效用和防御性能之间的关键权衡的能力。实验设置：我们考虑一个实用的FL系统，该系统包括100个客户使用CIFAR10和CIFAR100数据集协同训练ResNet-18和ResNet-34模型。服务器启动了两个SOTA GIAs： GIA-O和GIA-L。为了抵御这些攻击，客户端在梯度上使用了四种后处理技术：量化(Q) [77]、稀疏化(S) [80]、剪切(C) [81]和扰动(P) [82]。详细信息见附录。我们进行了实验来评估四种后处理技术对GIAs的有效性，以及它们在不同参数设置下对准确性的影响（见附录）。我们为每种后处理技术选择了最佳的性能，代表了最佳的隐私效用权衡，并将这些结果呈现在图15中。我们表明：大多数的后处理技术

图15：在利用各种后处理的FL系统中，维护隐私-效用权衡的最佳结果。红线是隐私泄露的一条分线。蓝线是模型可接受效用的分线。到目前为止，GIA的选择，突出了里程碑和突破。此外，我们还建立了一个系统化的全球情报情报机构，以揭示其固有的威胁。我们指出，当前GIAs所证明的显著有效性依赖于具有辅助假设的理想设置。为了评估GIAs对实际FL系统的实际威胁，我们从三个关键方面确定了GIAs在实践中面临的挑战：本地培训、模型和后处理。通过在不同环境下对最先进的GIAs进行理论和实证评估，我们的研究结果表明，GIAs对实际FL系统构成的实际威胁是有限的，尽管它们在现有文献中具有感知的效力。我们的目标是在一定程度上纠正以前的误解，并激发对FL的GIAs进行更准确和现实的调查。

参考[1] G. D.格林韦德，《综合档案网络（CTAN）》，船，第14卷，第3期，342-351页，1993。[2] J.盖平，鲍迈斯特，¨博士和莫勒，“反转梯度——破坏联邦学习中的隐私有多容易？”神经信息处理系统的进展，第33卷，第16 937-16 947页，2020页。[3] H. Yin， A. 马利亚公司， A. M.阿尔瓦雷斯，J.考茨，和P.莫尔查诺夫，“通过梯度：图像批量恢复”，IEEE/CVF计算机视觉和模式识别会议，2021，页16 337-16 346。[4] J. Jeon，K.李，S. Oh，J. Ok等人，“生成图像之前的梯度反演”，神经信息处理系统的进展，第34卷，29 898-29 908页，2021。[5] Z.李，张，L.刘，J.刘，“通过生成梯度泄漏审计联邦学习的隐私防御”，IEEE/CVF计算机视觉和模式识别会议论文集，2022年，页。10 132–10 142. [6] A. 哈塔弥扎德，尹，罗思，李，考茨， D. 徐和莫尔查诺夫，“重力场：视觉变压器的梯度反转”，发表在IEEE/CVF会议