【论文阅读】DBA: DISTRIBUTED BACKDOOR ATTACKS AGAINST FEDERATED LEARNING

摘要

后门攻击旨在通过注入对抗性触发器来操纵训练数据的子集，以便在被篡改的数据集上训练的机器学习模型将在嵌入相同触发器的测试集上做出任意（有针对性的）错误预测。

背景：联邦学习 (FL) 的分布式学习方法和各方固有的异构数据分布可能会带来新的漏洞。

相对于集中后门攻击（每一方在训练期间嵌入相同的全局触发器），作者提出了分布式后门攻击 (DBA)——这是一种通过充分利用 FL 的分布式特性开发的一种新颖的威胁评估框架。

DBA 将全局触发模式分解为单独的局部模式，并将它们分别嵌入到不同对抗方的训练集中。

与标准集中式后门相比， DBA 在不同的数据集上（例如金融和图像数据）对 FL 更加持久和隐蔽，可以规避针对集中式后门的两种最先进的鲁棒 FL 算法。

作者通过广泛的实验，以证明 DBA 在不同设置下的攻击成功率显着高于集中式后门。也通过特征视觉解释和特征重要性排名为 DBA 的有效性提供了解释。所提出的DBA和彻底的评估结果也揭示了表征FL的鲁棒性。

引言

FL优势：

FL用于解决训练机器学习模型的问题，无需直接访问不同的训练数据，尤其是对于隐私敏感的任务很为适用。通过利用参与者(即各方)的局部训练数据，FL有助于训练共享全局模型，提高性能。在实践中部署FL已经有了突出的应用和不断增长的趋势，例如贷款状态预测、健康状况评估以及候选词预测。

FL不足，引出后门攻击：

       尽管FL能够聚合有不同设备提供的分布式（以及通常被限制的）信息来训练更好的模型，其分布式学习方法以及不同各方之间固有的异构(即非i.i.d.)数据分布可能会无意中为新的攻击提供一个场所。特别是，由于隐私问题或监管限制使得对个人方数据的访问受限这一事实可能有助于对使用 FL 训练的共享模型的后门攻击。

后门攻击是一种数据中毒攻击，旨在操纵训练数据的子集，使得在篡改数据集上训练的机器学习模型将容易受到具有相似触发器嵌入的测试集的攻击。

之前工作的不足：

然而，目前的攻击并没有充分利用FL的分布式学习方法，因为它们将相同的全局触发模式嵌入到所有对抗方中。我们称这种攻击方案为集中式后门攻击。

作者工作：

利用FL在聚合来自本地方的分散信息来训练共享模型方面的能力，本文提出了针对FL的分布式后门攻击(DBA)。给定与集中攻击相同的全局触发模式，DBA 将其分解为局部模式并将它们分别嵌入到不同的对抗方中。集中式后门攻击与分布式后门攻击的示意图比较如图1所示。

图1：FL 上集中式和分布式后门攻击 (DBA) 概述。第轮的聚合器结合了前一轮  中本地方（良性和对抗性）的信息，并更新共享模型 。在实施后门攻击时，集中式攻击者使用全局触发器，而分布式攻击者使用本地触发器作为全局触发器的一部分。

通过对几个金融和图像数据集和深入分析的广泛实验，我们总结了我们的主要贡献和发现如下。

1) 首次研究了分布式后门攻击，提出了一种新的FL分布式后门攻击策略DBA，并表明DBA比集中式后门攻击更持久和有效。基于大量的实验发现，尽管每个对抗性方仅通过 DBA 植入本地触发模式，但与集中式攻击相比，DBA的组装模式（即全局触发器）在全局模型上获得了明显更好的攻击性能。结果在不同的数据集和不同的攻击场景下(如一次性(单次)和连续(多次)中毒设置)是一致的。

2) 在评估两种最近的鲁棒FL方法对集中后门攻击的鲁棒性时(Fung et al.， 2018;Pillutla et al.， 2019)，我们发现DBA更有效和隐蔽，因为它的局部触发模式更隐蔽，因此更容易绕过鲁棒聚合规则。

3) 我们从不同的角度对 DBA 的有效性进行了深入的解释，包括特征视觉解释和特征重要性排名。

4) 我们对 DBA 中几个触发因素进行了全面分析和消融研究，包括局部触发器的大小、差距和位置、FL 中的缩放效应、中毒区间、数据中毒率和数据分布。

分布式后门攻击对联邦学习

2.1 整体框架

对FL框架进行分析：

客户端部分：

联邦学习的训练目标可以看作是一个有限和优化问题，其目标是通过优化目标函数 F(w) 来找到最优的模型参数 w：

.

参与联邦学习的 N 个参与方（party），每个参与方都有自己的本地模型和私有数据集，并基于私有数据集  使用自己的本地目标函数对本地模型进行训练，其中 和表示每个数据样本及其对应的标签。

在有监督的 FL 设置中，每个局部函数  计算为  = l(，是通过使用本地参数  对本地样本集合  进行预测，并计算预测损失 l，其中 l 表示使用局部参数  的预测损失。

FL的目标是在从 N 个参与方处汇总分布式训练结果后，获得一个能够在测试数据集  上很好泛化的全局模型。通过聚合各个参与方的训练结果，可以得到最终的全局模型，该模型可以更好地推广到未知数据中。

服务器部分：

        具体来说，在第 t 轮，中央服务器将当前共享模型  发送给  选择方，其中 [N ] 表示整数集 {1, 2,., N }。

所选方 i 通过运行优化算法（例如 E 个局部 epoch 的随机梯度下降 (SGD)）及其自己的数据集  和学习率 lr）局部计算函数 ，以获得新的局部模型 .

然后，本地方将模型更新 发送回中央服务器，服务器将对其自己的学习率 η 的所有更新进行平均以生成新的全局模型 ：

这个聚合过程将被迭代，直到 FL 找到最终的全局模型。除非另有说明，否则我们使用 来表示第 t 轮全局（局部）模型的模型参数。

联邦学习中面对强攻击者的情况（考虑强攻击者）

        强攻击者可以完全控制本地训练的过程，包括注入后门数据和更新本地训练的超参数，如 E（本地轮次）和 lr（学习率）。这种情况在实际中相当常见，因为每个本地数据集通常由一个参与方拥有。然而，攻击者无法影响中央服务器的特权，例如更改聚合规则，也无法篡改其他参与方的训练过程和模型更新。

在联邦学习中，强攻击者可以在本地训练中进行一些恶意操作，但他们无法影响中央服务器的特权，也不能干扰其他参与方的训练过程和模型更新。

也就是说：攻击者的能力有限，而不会对整个系统的特权和其他参与方的操作产生不利影响。

后门攻击的目标和具体实施方式

        后门攻击的目标是通过在输入数据中嵌入攻击者选择的模式（即触发器），来导致训练模型错误地预测一个目标标签τ。和拜占庭攻击不同，后门攻击在联邦学习中的目标是操纵本地模型，同时适应主任务和后门任务，使得全局模型在未被篡改的数据样本上表现正常，同时在被后门攻击的数据样本上实现高攻击成功率。

攻击者在第t轮中的对抗目标是通过本地数据集  和目标标签 τ 来使得模型参数达到最优，

具有本地数据集  和目标标签 τ 的第 t 轮攻击者的对抗性目标是：

表示对被篡改的数据R( xij, φ)预测为目标标签τ的概率进行求和；

表示对未篡改的数据 xij 预测为真实标签 yij 的概率进行求和。

这里，中毒数据集R(xij​,ϕ)  和干净数据集 xij​ 满足∣R(xij​,ϕ)∣=∣xij​∣ 和 Si ∩ Sj = ∅。

函数 R 使用一组参数 φ 将任意类别的干净数据转换为具有攻击者选择的触发模式的后门数据。

例如，对于图像数据，φ被分解为触发位置TL、触发大小TS和触发间隙TG (φ = {TS, TG, TL})，如图2所示。攻击者可以设计自己的触发模式，选择最优毒药比r，得到更好的模型参数 ，其中既可以为后门数据R(xij, φ)的目标标签τ分配最高概率，也可以为良性数据分配地面真值标签。

【注】：后门攻击旨在通过在输入数据中嵌入攻击者选择的模式（触发器）来欺骗训练模型，使其在后门数据上错误地预测目标标签。通过调整本地模型，同时适应主任务和后门任务，后门攻击可以做到全局模型对未篡改的数据表现正常，对后门数据实现高攻击成功率。攻击者通过自定义触发器模式和选择适当的毒化比例，可以获取更好的模型参数，以便于全局模型在使用后门数据时将最高概率分配给目标标签，同时在未篡改数据上分配最高概率给真实标签。

2.2分布式后门攻击(DBA)

图1：FL 上集中式和分布式后门攻击 (DBA) 概述。第轮的聚合器结合了前一轮  中本地方（良性和对抗性）的信息，并更新共享模型 。在实施后门攻击时，集中式攻击者使用全局触发器，而分布式攻击者使用本地触发器作为全局触发器的一部分。

之前方法：

我们再次使用图 1 来说明我们提出的DBA。回想一下，当前的集中攻击为所有本地攻击者嵌入相同的全局触发器1。例如，图 1(a) 中的攻击者将训练数据与 4 种颜色突出显示的选定模式嵌入，这完全构成了作为后门触发器的完整全局模式。

作者的方法：

        在我们的 DBA 中，如图 1(b) 所示，所有攻击者仅使用全局触发器的一部分来毒化其本地模型，而最终对抗目标仍然与集中攻击相同——使用全局触发器来攻击共享模型。例如，带有橙色标志的攻击者仅使用位于橙色区域的触发模式毒化其训练数据的子集。类似的攻击方法适用于绿色、黄色和蓝色标志。我们将每个 DBA 攻击者的触发器定义为本地触发器，将整个触发器组合为全局触发器。为了公平比较，作者为集中攻击和 DBA 保留了相同数量的总注入触发器（例如，修改后的像素）。

【注】：在DBA中，每个攻击者只使用全局触发器的部分来污染其本地模型，而攻击的目标仍然是使用全局触发器攻击共享模型。

对比集中式后门攻击和DBA的不同：

        在集中攻击中，攻击者试图在没有任何协调和分布式处理的情况下解决方程2中的优化问题。

而DBA利用分布式学习和本地数据的不透明性，将集中式攻击分解为多个分布式子攻击问题。每个DBA攻击者独立对其本地模型进行后门攻击，并使用特定的几何分解策略和触发器分解规则。尽管DBA下没有任何一方受到全局触发器的污染，但在使用全局触发器进行评估时，DBA的性能显著优于集中式攻击。

【具体分解过程】：考虑 DBA 中的 M 个攻击者，具有 M 个小的本地触发器。每个 DBA 攻击者 独立地对其本地模型执行后门攻击。这种新机制将集中攻击公式分解为M个分布式子攻击问题，旨在解决:

其中  是攻击者  的局部触发模式的几何分解策略，O(i) 包含基于全局触发器 φ 的  的触发分解规则。

2.3 DBA中的关键触发因素

        图2解释了图像数据集中触发器的位置、大小和间隙属性。为简单起见，将所有本地触发器设置为相同的矩形形状2。

图3解释了在表格数据(例如贷款数据集)中排名特征重要性的触发器属性。

下面是对其中各个关键触发因素的解释和总结：

触发大小 TS：本地分布式触发器的像素列数（即宽度）。

触发间隙 TG： 和  的距离，分别代表左右之间的距离，以及顶部和底部局部触发器。

触发位置 TL：(Shiftx,Shiftx) 是触发模式从左上角像素的偏移量。

缩放参数γ：攻击者使用的缩放参数 γ = η/N ，用于放大恶意模型的权重。例如，假设第 i 个恶意局部模型是 X。下一个将提交的新局部模型   计算为  。。

中毒比率 r：该比率控制每个训练批次添加的后门样本的比例。较大的r值通常在攻击时更好，但干扰了干净数据的准确性和攻击成功率之间存在权衡。如果r值过大，会影响攻击的效果，使得模型变得无用。

中毒间隔 I：两个中毒步骤之间的轮次间隔。例如，I = 0 表示所有本地触发器都嵌入到一轮中，而 I = 1 表示本地触发器在连续的轮次中嵌入。

数据分布: 联邦学习通常假设各方之间的数据分布是非i.i.d。在这里，我们使用Dirichlet 分布 (Minka, 2000) 并设置不同的超参数α来生成不同的数据分布，遵循 (Bagdasaryan et al., 2018) 中的设置的不同数据分布。

实验

3.1数据集和实验设置

DBA在具有非i.i.d.数据分布的四个分类数据集上进行评估：

Lending Club Loan Data(LOAN) ； MNIST ；CIFAR-10 ；Tiny-imagenet.

Tb.1中总结了数据描述和参数设置。

按照标准设置，使用 SGD 并训练 E 个局部 epoch，局部学习率 lr 和批量大小 64。共享全局模型由所有参与者训练，每轮选择 10 个进行聚合。使用的局部触发器和全局触发器在附录 A.1 中进行了总结。

3.2分布式后门攻击与集中后门攻击的对比

遵循 (Bagdasaryan et al., 2018) 中的攻击分析，我们评估了多发攻击 (Attack A-M) 和单次攻击 (Attack A-S) 两种攻击场景，在原始论文中分别称为朴素方法和模型替换方法。

多次攻击A-M：

多发攻击 A-M 表示攻击者多轮选择，为了成功的攻击需要对恶意更新进行累积；否则后门将被良性更新削弱，很快被全局模型遗忘。为了快速观察集中式攻击与分布式攻击之间的差异并控制随机方选择的影响，我们在每一轮中执行一次完整的攻击，即始终选择所有 DBA 攻击者或集中式攻击者。随机选择良性参与者形成总共 10 名参与者。

单次攻击A-S：

单次攻击A-S意味着每个DBA攻击者或集中式攻击者只需要一次攻击即可成功嵌入其后门触发器。为了实现这一点，攻击者在其恶意更新中执行缩放，以压倒其他良性更新并确保后门在聚合步骤中留存下来。为了公平比较，DBA 和集中式攻击在同一轮中完成一个完整的后门。以 MNIST 为例，DBA攻击者在第12轮、第14轮、第16轮、第18轮分别嵌入本地触发器1至4，而集中式攻击者在第18轮嵌入全局触发器。随机选择良性参与者以形成总共 10 名参与者。

多次攻击A-M和单次攻击A-S侧重方面：

当全局模型由局部和全局触发器触发时，这两种场景揭示了 DBA 和集中式后门攻击的不同方面。多次攻击 A-M 研究后门成功注入的能力，而单次攻击 A-S 研究了后门效应减少的速度。

实验比较DBA与集中攻击：

在我们的实验中，我们使用相同的全局触发器评估 DBA 和集中攻击的攻击成功率。

1.1实验设置-后门像素总数：

为了公平比较，我们确保 DBA 攻击者的后门像素总数接近甚至小于集中式攻击者的后门像素总数（由于具有一定分布的数据样本，很难控制它们是相同的）。DBA像素的全局触发器与集中式触发器之比为0.992，MNIST为0.964，CIFAR为0.990，Tiny-imagenet为0.991。

1.2实验设置-原始标签：

此外，为了避免测试攻击成功率时原始标签的影响，我们删除了真实标签等于后门目标标签的测试数据。在三个图像数据集中，我们在全局模型的主要精度收敛时开始攻击，即对应数据集MNIST 时为 第10轮，数据集CIFAR 时为第200轮，多次攻击 A-M 中的 Tiny-imagenet 为 第20轮。原因在附录中提供。A.2。对于CIFAR，多次攻击A-M中的全局学习率η为0.1，其他数据集为1，攻击A-S为0.1。

2.实验效果：

1）在多次攻击A-M中，DBA的攻击成功率在所有情况下都总是高于集中攻击，如图4所示。

2）DBA的收敛速度也更快，甚至在MNIST中产生更高的攻击成功率。

3）在 DBA 下，即使全局触发器从未实际出现在任何本地训练数据集中，全局触发器的攻击成功率也高于任何本地触发器。

4）此外，全局触发器在攻击性能上比本地触发器收敛得更快。集中式攻击者嵌入了整个模式，因此其任何本地触发器的攻击成功率都很低。

5）由于连续中毒，LOAN 局部触发器的攻击成功率仍然增加，但这种现象不会出现在 MNIST 和 Tiny-imagenet 中，这表明全局触发器的成功对于局部触发器不需要相同的成功。

6）即使在一些本地触发器仅获得较低的攻击成功率时，DBA 也会导致全局触发器的高攻击成功率。这一发现对于 DBA 是独一无二的，并且还暗示了集中攻击对 FL 的低效率。

7）在单次攻击 A-S 中，DBA 和集中式攻击在以比例因子 γ = 100 的所有数据集中执行完整的后门后都达到较高的攻击成功率，如图 4 所示。在连续轮次中，注入全局模型的后门被良性更新削弱，因此攻击成功率逐渐降低。CIFAR 中的集中攻击存在初始下降，然后缓慢上升，这是由良性参与者的高局部学习率引起的。

8）我们还发现，集中攻击在本地触发器和全局触发器中的攻击成功率比DBA下降得更快，这表明DBA产生了更持久的攻击。例如，在 MNIST中和在 50 轮之后，DBA 都仍然是 89% 的攻击成功率，而集中式攻击仅获得 21%。

9）尽管 DBA 仅使用本地触发器执行数据中毒，但结果表明其全局触发器的持续时间比任何本地触发器都长，这表明DBA可以使全局触发器对良性更新更有弹性。

3.3分布式攻击的鲁棒性

最近的sota鲁棒聚合算法：

RFA (Pillutla et al., 2019) 和 FoolsGold (Fung et al., 2018) 是最近提出的两种基于距离或相似性度量的鲁棒 FL 聚合算法，特别是 RFA 被认为能够检测到更细微的异常值，这超出了拜占庭设置的最坏情况 (Blanchard et al., 2017)。

评估侧重：

此外，由于缩放操作更容易检测到单次攻击 A-S（Pillutla 等人，2019 年），我们将专注于评估 DBA 的攻击有效性和针对多次攻击 A-M 设置下 RFA 和 FoolsGold 的集中后门攻击。

针对鲁棒聚合防御的分布式攻击

RFA：

RFA通过在聚合步骤中用近似几何中位数取代加权算术平均值，能够对模型参数进行更新的聚合，并且能够在存在异常值的情况下保持鲁棒性。

在每个批次中，只有少数攻击者会对一小部分数据进行污染，因此我们的分布式后门攻击满足 RFA 迭代的条件，即异常值的总权重严格小于 1/2，这样即使存在异常值，也能使 RFA 收敛到一个解决方案。

RFA 的最大迭代次数设定为 10，但事实上它可以快速收敛，在大约 4 次迭代内就能得到一个高质量的解决方案。

分析图五：

图5显示了DBA的攻击性能和RFA下的集中攻击。

对于Tiny-imagenet，集中式攻击在至少 80 轮中完全失败，而具有较低距离和较高聚合权重的DBA攻击者可以执行成功的后门攻击。

对于 MNIST 和 CIFAR，DBA 的攻击成功率更高且收敛速度更快。

对于 LOAN，集中式后门攻击比 DBA 要多花费 20 轮的时间才能收敛。

DBA 的有效性：

为了解释 DBA 的有效性，作者将攻击者的模型参数更新和最终几何中值之间的欧几里得范数计算为距离度量。

在所有数据集上，DBA 攻击者提交的恶意更新的距离低于集中式攻击者的更新，这有助于他们更好地绕过防御。

对减轻西比尔防御的分布式攻击

FoolsGold优势：

FoolsGold 减少了重复提供相似梯度更新的参与方的聚合权重，同时保留了提供不同梯度更新的奇偶权重。

DBA 在 FoolsGold 下的效果：

图 5 显示 DBA 在 FoolsGold 下也优于集中式攻击。

在三个图像数据集中，DBA 的攻击成功率明显更高，同时收敛速度更快。

当集中式攻击失败时，MNIST 中的 DBA 在第 30 轮达到 91.55%，攻击成功率仅为 2.91%。

对于用简单网络训练的 LOAN，FoolsGold 无法区分恶意更新和干净更新之间的差异，并为攻击者分配高聚合权重，从而实现快速后门成功。

DBA 的有效性：

为了解释 DBA 的有效性，我们在附录中报告了 FoolsGold 对 Tb.2 中对抗性方的权重。与集中式攻击相比，尽管 FoolsGold 由于后门目标标签的相似性为 DBA 攻击者分配了更小的聚合权重，但 DBA 仍然更成功。这是因为分布式攻击者的权重之和可能大于集中式攻击者。

 

3.4通过特征可视化和特征支持进行探索

特征重要性可以通过各种分类工具计算，也可以通过特定类别的激活图直观地解释。例如，在 LOAN 中，我们表明不同分类器识别的顶级特征非常一致（参见附录中的 Tb.4）。

在这里，我们使用 Grad-CAM 和软决策树为 DBA 提供解释。附录 A.7 讨论了在我们的数据集上训练的软决策树的更多详细信息。

【注】：

• Grad-CAM（Gradient-weighted Class Activation Mapping）

是一种用于理解深度神经网络决策的可视化技术。它通过分析卷积神经网络（CNN）对于输入图像的反向传播梯度来定位和强调图像中影响分类结果的区域。

在传统的CNN中，每个卷积层通过学习一系列的卷积核来提取图像的特征。而Grad-CAM通过分析输入图像的梯度信息，找到这些特征在网络的决策中的重要性。

具体来说，Grad-CAM首先通过前向传播计算出分类结果，然后计算该结果对于目标类别的梯度。这个梯度表示了结果相对于输入图像的每个像素的敏感度。接着，通过使用这些梯度和卷积层的输出特征图，可以计算出每个像素对于分类结果的重要性权重。最后，将这些权重与原始图像进行加权叠加，就可以得到一张彩色的Grad-CAM图像，用于可视化网络对于分类结果的关注区域。

• 软决策树（Soft Decision Tree）

是一种基于决策树模型的机器学习方法，与传统的二叉决策树不同，软决策树允许在决策过程中产生一系列软概率分布，从而更全面地描述数据的不确定性。

传统的决策树将每个节点划分为两个子节点，每个节点上的决策都是基于某个特征的二元判定结果。而软决策树则采用概率分布来描述每个节点的输出，在节点上计算类别概率的加权平均，从而能够输出多个类别的概率分布。

软决策树的训练过程涉及两个主要方面。首先，根据数据集的特征和标签，利用一定的准则（如信息增益、基尼系数等）对每个节点进行划分。其次，通过优化算法（如梯度下降）来学习每个节点的概率分布，使其尽可能准确地捕捉到训练数据中的分布特征。

软决策树的优点是可以输出更为丰富的概率信息，能够更全面地评估模型对于不同类别的判定，对于处理不确定性和多类别分类问题更有优势。此外，软决策树还可以通过对节点概率分布的可解释性进行解释和理解，能够更好地帮助人们理解和信任模型的决策过程。

• 软概率分布

（Soft Probability Distribution）是一种概率分布，与传统的离散概率分布不同，它允许将概率分配给多个类别或事件，从而在不确定性情况下提供更灵活的概率估计。

传统的概率分布通常是离散的，将概率分配给互斥的事件或类别，例如抛硬币的结果只能是正面或反面，概率分别为0.5。而软概率分布则可以将概率分配给多个类别，通常以概率分数的形式表示，每个类别的概率分数可以是任意实数值。

软概率分布常用于模糊推理、不确定性建模和机器学习等领域。它能够更好地处理不确定性情况下的分类和决策问题。例如，在多类别分类任务中，软概率分布可以表示一个样本属于每个类别的可能性程度，而不仅仅是简单的二元分类结果。

在软概率分布中，概率分数可以进行归一化，使其总和为1，以表征概率分布的性质。常见的软概率分布方法包括Softmax函数、Sigmoid函数等。

使用 Grad-CAM解释DBA的隐蔽性：

我们使用 Grad-CAM 可视化方法来解释为什么 DBA 更加隐蔽，分别检查他们对原始数据和后门目标标签的解释，以获取干净的数据输入以及具有本地和全局触发器的后门样本。

图 6 显示了手写数字“4”的 Grad-CAM 结果。我们发现单独的每个局部触发图像都是一个弱攻击，因为它们都不能改变预测（在嵌入触发器的左上角没有注意）。然而，当组装成全局触发器时，后门图像被归类为“2”（目标标签），我们可以清楚地看到注意力被拖到触发位置。Grad-CAM 导致大多数局部触发图像的事实与干净图像相似，证明了 DBA 的隐蔽性。

使用软决策树解释DBA的隐蔽性：

使用 MNIST 的软决策树作为另一个示例，我们发现中毒后的触发区域对于相应软决策树中的决策确实变得更加重要，如图 22 所示。

在 LOAN 中发现了类似的结论。我们对干净模型顶部节点的过滤器的绝对值进行排序，以获得 91 个特征的排名（排名越低越好），然后将它们的重要性计算为 (1-rank/91)*100。分别选择6个不重要的特性和6个重要的特性来运行DBA。图 7 中的结果表明，基于软决策树，不重要的特征对于中毒后的预测非常重要。

分布式后门攻击中触发器因子分析

本节对单次攻击 A-S 下的DBA 主要触发因素进行分析：

在这里，我们研究了单次攻击 A-S 下第 2.3 节中介绍的 DBA 触发因素。

实验设置（控制变量法）：

只改变每个实验中的一个因素，并保持其他因素与第3.1节相同。

符号解释：

在单次攻击 A-S 中，DBA-ASR 显示了攻击成功率，而 Main-Acc 表示嵌入最后一个分布式本地触发器时全局模型的准确性。

DBA-ASR-t 揭示了持久性，是在执行完整 DBA 后 t 轮的攻击成功率。

Main-Acc-t 是 t 轮后的主要准确度。

注意：

一般来说，预计 DBA 之后的主要任务准确性略有下降，但在几轮训练后最终会回到正常。

4.1规模的影响

扩大比例因子的影响：

扩大比例因子会增加 DBA-ASR 和 DBA-ASR-t，并缩小它们之间的差距。

在CIFAR下，当DBA-ASR达到90%以上，并且γ大于40就几乎没有变化，然而增大γ仍然对DBA-ASR-t有积极的影响。

模型架构复杂度的影响：

对于以上四个数据集，模型架构（ Tb.1 中）越复杂，主准确度随着 γ 的增加而下降的趋势就越明显，因为缩放破坏了复杂神经网络中更多的模型参数。

【注】：

环境设置：以上四个数据集

效果：型架构越复杂，主准确度随着 γ 的增加而下降的趋势就越明显。

原因：缩放破坏了复杂神经网络中更多的模型参数

由于模型简单，LOAN 的主要准确率不会下降，而 Tiny-imagenet 在攻击轮次中的主要准确率在 γ = 110 时甚至下降到 2.75%。（图8）

选择大比例因子的影响：

比例因子大的优点：

较大的比例因子缓解了中央服务器对DBA的平均影响，导致攻击性能更具影响力和抵抗力，

比例因子大的缺点：

导致全局模型在三个图像数据集的攻击轮次中的主要准确率下降。

此外，使用大规模因子会导致与其他良性更新过于不同的异常更新，并且很容易根据参数的大小进行检测。

因此，在选择比例因子方面需要进行权衡。

4.2 触发器位置的影响

实验设置：

对于三个图像数据集，作者将全局触发模式从左上角移动到中心，然后移动到右下角。图9中的虚线表示触发器到达右边界并开始沿右边移动。

实验分析：

观察发现TL 和 DBA-ASR（在 MNIST 中）或 DBA-ASR-t（在 Tiny-imagenet 和 MNIST 中）之间表现出一条 U 形曲线。这是因为图像中的中间部分通常包含主对象。这些领域的 DBA 更难成功，并且会更快地遗忘，因为这些像素是主要准确性的基础。

这一发现在 MNIST 中很明显，40 轮后的主要准确度在中心 (TL = 9) 中仅保持在 1.45%，而在左上角 (TL = 0) 中则有 91.57%。

        类似的发现可以在 LOAN 中找到，如图9(a) 所示。使用低重要性特征的 DBA 在攻击轮次和后续轮次方面具有更高的成功率。低重要性触发器在 20 轮后达到 85.72% 的 DBA-ASR，而高重要性触发器为 0%。

1. 1. 触发间隙的影响

最大触发间隙低的原因：

在位于图像的四个角的四个局部触发模式的情况下，对应于图10中的最大触发间隙，DBA-ASR和DBA-ASR-t在图像数据集中都很低。这种失败可能是由局部卷积操作和局部触发器之间的大距离引起的，因此全局模型无法识别全局触发器。

触发间隙对DBA-ASR 和 DBA-ASR-t的影响：

图 10.(a) 中 DBA-ASR 和 DBA-ASR-t 的曲线在中间显着下降。当右较低的局部触发器覆盖MNIST图像中的中心区域时，就会发生这种情况。类似的观察结果可以根据图 9.(b)(d) 来解释。

零触发间隙的缺点：

在CIFAR和Tiny-imagenet中使用零触发间隙，DBA仍然成功，但我们发现后门将被遗忘得更快。我们建议在实施 DBA 时使用非零触发间隙。

1. 1. 触发器大小的影响

触发器并不是越大越好：

在图像数据集中，较大的触发器大小给出了更高的 DBA-ASR 和 DBA-ASR-t。然而，一旦 TS 变得足够大，它们是稳定的，这表明使用过大的触发器几乎没有增益。

触发器太小，效果很差：

对于 MNIST，当 TS = 1 时，DBA-ASR 较低。这是因为每个局部触发器太小而无法在全局模型中识别。在相同的设置下，使用4个像素的全局模式的集中攻击也不是很成功，其攻击成功率在4轮内很快下降到10%以下。这反映了在攻击 A-S 下，触发器太小的后门攻击是无效的。

1. 1. 中毒间隔的影响

攻击效果差的几个原因：

当所有分布式攻击者在所有数据集中在同一轮 (I = 0) 提交缩放更新时，攻击性能很差，因为缩放效果太强，极大地改变了全局模型中的参数，导致它在主要准确性上失败。

如果中毒间隔太长，它也是无效的，因为早期embemed触发器可能完全被遗忘。

最佳毒轮间隔：

图 12.(a)(b) 中的峰值表明 LOAN 和 MNIST 存在最佳毒轮间隔。DBA攻击者可以等待全局模型收敛，然后嵌入下一个本地触发器以最大化后门性能，这比集中式攻击具有竞争优势。

分布式攻击的稳健性：

在 CIFAR 和 Tiny-imagenet 中，将区间从 1 更改为 50 不会导致 DBA-ASR 和 DBA-ASR-t 的显着变化，这表明局部触发效应可以持续很长时间并有助于全局触发器的攻击性能。从这个角度来看，分布式攻击对 RL 非常稳健，应该被视为更严重的威胁。

4.6 泊松比的影响

实验设置：

在我们的实验中，训练批量大小为 64。、

图像分析：

由于图 13 中的 X 轴变量（中毒样本的个数）从 1 增加，DBA-ASR 和 DBA-ASR-t 首先增加然后下降。直观的是，更多的中毒数据可以带来更好的后门性能。

实验分析：

然而，过大的毒药率意味着攻击者扩大了低精度局部模型的权重，导致全局模型在主任务中的失败。

对比数据集间的差异：

在中毒完整批次的情况下，在 DBA 之后，CIFAR 和 Tiny-imagenet 中的全局模型再次训练主要任务，其主要准确率分别在 90 轮和 40 轮后正常。

但是在 MNIST 中，它被简化为一个过度拟合的模型，该模型预测任何输入的目标标签，因此攻击成功率始终为 100%，而后续轮次的主要准确率约为 10%。

因此，DBA 通过使用合理的毒物比来保持干净数据的准确性，在其局部训练中保持隐身更好。

4.7 数据分布的影响

在各种数据分布下，DBA-ASR 是稳定的，表明 DBA 的实用性和鲁棒性。

相关工作

联邦学习

McMahan等人(2017)首先介绍了联邦学习(FL)来解决分布式机器学习问题。由于训练数据从未与服务器（聚合器）共享，因此 FL 有利于具有隐私和调节约束的机器学习。

在本文中，我们在同步更新轮次中执行的标准 FL 设置中讨论和分析我们的实验。Koneˇcn 'y等人(2016)最近研究了使用随机旋转和量化压缩更新来提高通信效率的高级FL。

联邦学习的后门攻击

Badasaryan等人(2018)提出了一种FL模型中毒方法，该方法通过扩大攻击者的更新，将全局模型替换为恶意局部模型。

Bhagoji等人(2019)考虑了一种恶意攻击者的情况，旨在通过增强恶意更新来实现全局模型收敛和目标中毒攻击。

他们提出了两种策略，交替最小化和估计其他良性更新，以规避加权和非加权平均下的防御进行聚合。我们注意到这些工作只考虑对FL的集中后门攻击。

联邦学习鲁棒性

健壮的FL旨在训练FL模型，同时减轻某些攻击威胁。

Fung等人(2018)提出了一种基于方更新多样性的新防御，不受对抗性方数量的限制。它增加了历史更新向量并计算所有参与者之间的余弦相似度，为每一方分配全局学习率。类似的更新向量将获得较低的学习率，因此全局模型可以防止标签翻转和集中式后门攻击。

Pillutla等人(2019)提出了一种鲁棒聚合方法，将加权算术平均值替换为近似几何中值，以最小化“异常值”更新的影响。

总结

        

通过对不同设置中的 LOAN 和三个图像数据集的广泛实验，表明在标准 FL 中，DBA 比集中后门攻击更持久和有效：DBA 在单次攻击和多次攻击场景中实现了更高的攻击成功率、更快的收敛和更好的恢复性.

本文证明了 DBA 更加隐蔽，可以成功地避开两种强大的 FL 方法。DBA 的有效性是使用特征视觉解释来解释的，以检查其在聚合中的作用。

并且本文对 DBA 独有的重要因素进行了深入分析，以探索其属性和局限性。结果表明 DBA 对当前的对抗性攻击是一种新的、更强大的 FL 攻击。该分析和发现可以为评估 FL 对抗性鲁棒性提供新的威胁评估工具和新颖的见解。

---

如有错误理解，还请大神纠正！