目录
7.Effects of data distribution
摘要
1.介绍后门攻击
后门攻击的目的是通过注入对抗触发器来操纵训练数据的子集，这样在篡改数据集上训练的机器学习模型将在1嵌入相同触发器的测试集上做出任意（有针对性的）预测。
2.背景
目前针对联邦学习的后门攻击主要都是集中式后门攻击——每个参与方在训练过程中嵌入相同的全局触发器。
3.提出新方法
本文提出了分布式后门攻击DBA——一种通过利用FL的分布式特性开发的新型威胁评估框架。DBA将全局触发模式分解为单独的局部模式，并将它们分别嵌入到不同的敌对方的训练集中。
4.贡献
a.提出了一种新的攻击方法DBA，与标准的集中式后门相比DBA在不同数据集（如金融和图像数据）上对FL的持久性和隐蔽性更强。
b.实验发现DBA可以避开针对集中式后门攻击的两种最先进的鲁棒算法：RFA和FoolsGold
c.此外，还通过特征可视化解释和特征重要性排序来解释DBA的有效性。
d.为了进一步探索DBA的特性，作者通过改变不同的触发因素来测试攻击性能，包括局部触发变化（大小、间隙和位置）、FL中的比例因子、数据分布以及中毒比和间隔。
一、引言
1.背景（介绍联邦学习的出现，同时引出挑战）
联邦学习被提出来解决训练机器学习模型而不能直接访问各种训练数据的问题，特别是对于隐私敏感的任务。
尽管FL能够聚合不同方提供的分散信息来训练更好的模型，但分布式学习方法以及跨不同方的非独立同分布数据可能无意中为新的攻击提供了场所。特别是后门攻击。
2.研究现状
目前对联邦学习后门攻击的研究都没有充分利用FL的分布式学习方法，它们都是将相同的全局触发模式嵌入到所有敌对方。我们称之为集中式后门攻击。
3.提出方法
本文提出了针对FL的分布式后门攻击，给定与集中式攻击相同的全局触发模式，DBA将其分解为本地模式并分别嵌入到不同的敌对方。
4.贡献总结
提出了一种基于FL的分布式后门攻击策略DBA，并证明了DBA比集中式后门攻击更具持久性和有效性。
在评估两种最近的鲁棒方法对集中式后门攻击的鲁棒性时，我们发现DBA更有效，更隐蔽，因为它的本地触发模式更隐蔽，因此更容易绕过鲁棒聚合规则。
通过特征可视化解释和特征重要性排序来解释DBA的有效性。
对DBA的几个触发因素进行了全面的分析和消融研究，包括局部触发变化（大小、间隙和位置）、FL中的比例因子、数据分布以及中毒比和间隔。
二、DBA方法介绍
1.总体框架
a.FL
联邦学习的训练目标可以转化为有限和优化。有N个参与方，即N个局部模型，每个模型都以局部目标进行训练，基于私有数据集Di。FL的目标是在对N方的分布式训练结果进行聚合后，得到一个能够很好泛化测试数据Dtest的全局模型。
中央服务器将使用自己的学习率对所有更新进行平均
Gt全局模型 Lit+1 新的本地模型 Gt+1 新的全局模型
b.攻击者能力
强攻击者，完全控制自己的局部训练过程，如后门数据注入和更新，包括E和lr在内的局部训练超参数。
但是攻击者无法影响中心服务器的特权，也无法篡改其他方的训练过程和模型更新。
函数R使用一组参数φ将任何类中的干净数据转换为具有攻击者选择的触发模式的后门数据。篡改数据将预测目标标签改为τ
c.后门攻击的目的
误导训练模型在任何嵌入了攻击者选择的模式(即触发器)的输入数据上预测目标标签τ。
2.DBA
该机制将一个集中的攻击分解为M个分布式的子攻击问题。
φ*i =(φ,O(i))，O(i)包含基于全局触发φ的mi触发分解规则。
DBA攻击者会在间隔I的毒害下毒，并在提交给聚合器之前使用比例因子γ来操纵他们的更新。
3.DBA的触发因素
触发大小TS、触发间隙TG、触发位置TL、Scale γ、中毒比r、中毒间隔I、数据分布
Scale γ: γ = η/N 攻击者用来扩大恶意模型权重，
例如，第i个恶意本地模型是X，那新的本地模型Li t+1=γ(X − Gt) + Gt
中毒比r：该比值控制每个训练批次添加后门样本的比例。不能太大致使模型无用
中毒间隔I：the round intervals between two poison steps, 两个中毒步骤之间的轮数间隔。
例如，I = 0 表示没有间隔，即所有的本地触发器都嵌入在一个回合（一轮）中
I = 1即间隔为1，这里指本地触发器嵌入在连续的回合中。
三、实验
1.数据集和实验设置
Lending Club Load Data、MNIST、CIFAR-10 and Tiny-imagenet 4个non-iid数据集 用𝑫𝒊𝒓𝒊𝒄𝒉𝒍𝒆𝒕分布划分
按照标准设置，我们使用SGD并且进行E个局部epoch训练，局部学习率为lr，批大小为64。所有参与者训练一个共享的全局模型，每轮抽取10个参与者进行汇总。
2.分布式后门攻击VS集中式后门攻击
实验评估了A-M和A-S两种攻击场景。攻击A-M研究后门成功注入的难易程度，而攻击A-S研究后门效果消失的速度。
A-M指攻击者是经过多轮选择的，并且累积的恶意更新是成功攻击所必需的;否则，“后门”将被良性更新削弱，并很快被全局模式所遗忘。我们在每一轮都进行了完整的攻击，也就是说，所有的DBA攻击者或分布式攻击者都一直被选中。良性的参与方被随机选中来组成一共10人的参与。
【每一轮都攻击】
A-S意味着每个DBA攻击者或集中式攻击者只需要一次射击即可成功嵌入其后门触发器。为了实现这一点，攻击者对其恶意更新进行了缩放来保证可以压制住良性更新并确保在聚合阶段后门仍被保留。 放大了100倍！！
【只选取一轮进行攻击】
3.实验准备
实验中，我们使用相同的全局触发器来评估DBA和集中式攻击的成功率。为了公平比较，DBA的全局触发像素总数接近甚至小于集中式后门攻击的后门像素总数（它们的比值，MNIST= 0.964, CIFAR=0.990)
为了避免测试攻击成功率时受到原始标签的影响，我们将真实标签等于后门攻击目标的测试数据去除。
在全局模型的主任务准确率收敛时开始攻击，在A-M中，MNIST大约是在第10轮，CIFAR大约是在200轮。CIFAR的全局学习率η为0.1，其他为1，攻击A-S的所有数据集的全局学习率η为0.1。
4.实验结果
在攻击A-M中，DBA的攻击成功率在所有情况下都高于集中式攻击，如图4所示。在MNIST中，DBA的收敛速度更快，甚至产生更高的攻击成功率。
在DBA下，我们发现一个突出的现象，即全局触发器的攻击成功率高于任何局部触发器，即使全局触发器从未实际出现在任何局部训练数据集中。全局触发器的攻击性能收敛速度比局部触发器快。
集中式攻击者嵌入整个模式，对任何局部触发器的攻击成功率都很低。
由于持续中毒，LOAN对局部触发器的攻击率仍然增加，但在MNIST和Tiny-imagenet中没有出现这种现象，这说明全局触发器的成功并不需要局部触发器的成功。
XXXXXDBA更持久
5.分布式攻击的鲁棒性
RFA和FoolsGold是最近提出的两种基于距离或相似性指标的鲁棒FL聚合算法，特别是RFA据称能够检测到更细微的异常值，这些异常值超出了实验设置的最坏情况。
此外，由于缩放操作，攻击A-S更容易被检测到，我们将重点评估攻击A-M设置下DBA和集中式后门攻击对RFA和FoolsGold的攻击有效性。
如何使得算法可以在A-S设置下也同样有效，我觉得这是一个实验出发点
a.Robust Aggregation Defence RAF算法
RFA聚合模型的参数来进行更新，通过用近似几何中位数取代聚合步骤中的加权算术平均值，对异常值（离群点）具有鲁棒性。RFA要求迭代的异常值的总权重严格小于1/2，以便它可以在有异常值的情况下依然可以收敛到一个结果。
RFA的最大迭代次数设置为10，而实际上它收敛得很快，可以在大约4次迭代内给出高质量的解决方案。
为了解释DBA的有效性，我们计算了攻击者模型参数更新和最终几何中位数之间的欧几里得范数作为距离度量。DBA攻击者提交的恶意更新比集中式攻击者在所有数据集上的更新距离要小，这有助于DBA攻击者更好地绕过防御。
b.Mitigating Sybils Defence(FoolsGold)
FoolsGold降低了重复提供相似梯度更新的参与方的聚合权重，同时保留了提供不同梯度更新的参与方的权重。
尽管FoolsGold为DBA攻击者提供了更小的权重，但是总体而言，DBA的权重总和是大于集中式攻击者的。
6.通过特征可视化和特征重要性进行解释
我们使用Grad-CAM可视化方法来解释为什么DBA更稳定，通过检查他们对原始和后门目标标签的解释，分别为干净的数据输入和具有本地和全局触发器的后门样本。我们发现每个局部触发的图像单独是一个弱攻击，因为它们都不能改变预测(没有注意左上角嵌入的触发器)。然而，当作为全局触发器组装在一起时，攻击效果又变得非常明显，这表明了DBA的隐蔽性。
基于soft decision tree软决策树，结果表明，不重要的特征在中毒后的预测中变得非常重要，即中毒后的触发区域对于决策确实变得更加重要。
四、分布式后门攻击触发因素分析
在这里，我们将研究攻击A-S下2.3节中引入的DBA触发因素。我们在每个实验中只改变一个因素，其他因素保持与3.1节相同。
在攻击A-S中，
DBA-ASR表示攻击成功率。
Main-Acc表示最后一个DBA local tigger嵌入时 global model的准确性。
DBA- ASR -t是执行完整DBA后的t轮攻击成功率，显示持久性。
Main - Acc -t为t轮后的main accuracy
总得来说，我们希望 main task accuracy 有更小的降低。
一般来说，我们预计在DBA之后主任务的准确性会有一个小的下降，但是在几轮训练之后最终会恢复正常。
1.Effects of Scale
1）扩大缩放因子会增加DBA-ASR,DBA-ASR-t，并且缩小他们之间的gap。
2）模型架构越复杂，随着缩放因子的增加，main accuracy下降地越明显。因为缩放破坏了复杂架构中更多的模型参数。
3）更大的缩放因子会减轻DBA的中央服务器的平均影响，这会带来更有效、更持久的攻击表现，但也造成全局模型的main accuracy的下降。此外，使用大的缩放因子会导致异于其他良性更新的异常更新，这在基于参数量级的检测中是很容易被发现的。因此，在选择缩放因子时存在一个trade-off。
2.Effects of Trigger Location
对于图像数据集，我们将global trigger 从左上角移到中心，然后移到右下角。
1）我们观察到了一个U形曲线，这是因为通常来说图像中央包含主要对象。在这种区域做DBA很难成功而且会被更快遗忘，因为这些像素对main accuracy更加有用。
2）在a中可以看到，在attacking round和随后的round中，DBA使用低重要性的特征有更高的攻击成功率。
3.Effects of Trigger Gap
1)当四个local trigger位于图像的四个角上时，DBA-ASR和DBA-ASR-t在图像数据集上都是低的。这可能是因为局部卷积操作以及local trigger之间的大距离使得全局模型没有识别出global trigger
2)在a图中，DBA-ASR,DBA-ASR-t曲线在中间有个显著的降低。当右侧更低的local trigger挡住了中心区域时会发生这种情况
3)使用zero trigger gap，DBA仍然可以成功，但是我们发现后门也会更快被遗忘。所以我们建议在实施DBA时使用non-zero trigger gap。
4.Effects of Trigger Size
1）在图像数据集中，更大的trigger size会有更高的DBA-ASR和DBA-ASR-t.然而一旦trigger size足够大，他们就稳定了，这表明over-size的trigger几乎不会有更多提升。
2）当TS=1时，DBA-ASR是比较低的，这是因为每个local trigger太小了以至于无法在global trigger中被识别出来。在同样环境下，使用4像素的global pattern的中心化攻击并不是非常成功而且其ASR在4 round内很快就下降到低于10%了，这表明在Attack A-S下，带有太小的trigger的后门攻击是无效的。
5.Effects of poison interval
1)当所有分布式攻击者在同一轮（I = 0）提交缩放更新时，攻击性能会下降，因为缩放的影响太大以至于大量改变了全局模型的参数，导致其在main accuracy的降低。另外，如果poison interval太大的话也是无效的，因为这会导致早期嵌入的trigger被完全遗忘。
2)A,b两幅图的顶峰表明存在一个最优的poison round interval。DBA攻击者可以等待直到全局模型收敛然后前输入下一个local trigger来最大化后门性能，这是相比于中心化攻击的一个有竞争性的优势
3)在c,d中可以看到interval从1到50都没有引起DBA-ASR,DBA-ASR-t有一个明显的变化，这表明local trigger的影响可以持续并会对global trigger的攻击性能有影响。从这方面来看，分布式攻击是更大的威胁因素。
6.Effects of poison ratio
如上所示，x轴是投毒样本的量，从1开始增加，DBA-ASR和DBA-AST-t首先增加然后降低。这是因为更多的投毒样本可以实现更好的后门攻击性能，但是太多的话意味着攻击者提升了低准确率的局部模型的权重，这将会导致在主任务中全局模型的失效。
所以我们在攻击时应该保持一个合理的投毒样本比例。
7.Effects of data distribution
使用不同的数据分布，DBA-ASR是稳定的，表明了DBA的实用性和鲁棒性。
当训练数据是非独立同分布时，良性参与者之间的更新已经具有较高的多样性，因此植入的恶意更新更容易隐藏在其中，并且不太可能被检测到。
在我们的实验中，在 CIFAR 和 Tiny-imagenet 中，DBA 更容易在更为非独立同分布的数据分布下成功地对抗 RFA 和 FoolsGold。
五、相关工作
1.联邦学习
2.基于FL的后门攻击
3.鲁棒FL
六、总结
通过在LOAN和三个不同设置的图像数据集上的大量实验，我们表明，在标准FL中，我们提出的DBA比集中式后门攻击更具持久性和有效性:DBA在单次攻击和多次攻击场景下都具有更高的攻击成功率、更快的收敛速度和更好的弹性。我们还证明了DBA更隐蔽，可以成功地逃避两种鲁棒FL方法。使用特征可视化解释来解释DBA的有效性，以检查其在聚合中的作用。我们还对DBA特有的重要因素进行了深入分析，以探索其特性和局限性。我们的结果表明，DBA是一种比当前后门攻击更强大的针对FL的新攻击。我们的分析和发现可以为评估FL的对抗性鲁棒性提供新的威胁评估工具和新的见解。
602
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
