A3FL Adversarially Adaptive Backdoor Attacks to Federated Learning（NeurIPS 2023）

联邦背景学习模式:

多个客户端通过多通信轮次根据其私有训练集协作训练全局模型。
在每一轮通信中，中央服务器选择一部分客户端，并将当前的全局模型发送给它们。
被选定客户端首先接收全局模型来初始化本地模型，然后使用本地数据集进行训练，最后将训练好的本地模型传回中央服务器。
中央服务器聚合来自所选客户端的本地模型来更新当前的全局模型。
FL分布式性质容易受到后门攻击，攻击者可以破坏一些客户端并利用它们向全局模型注入后门，以便模型的行为是攻击者想要的。

1. 研究动机：

• 主要研究问题: 本文主要关注的是联邦学习（FL）环境下的后门攻击问题，特别是现有后门攻击的触发器在全局模型训练过程中不够持久，导致攻击效果不理想。作者提出了“对抗自适应后门攻击”（A3FL）方法，旨在解决攻击效果随攻击预算降低而快速减弱的问题。

• 研究的重要性: 在分布式机器学习场景中，FL因其隐私保护的特性被广泛应用于安全敏感的场景。提高后门攻击的持久性不仅有助于揭示FL系统的漏洞，还为安全领域中设计更健壮的防御机制提供了理论依据。

• 现有知识空白: 现有研究通常仅基于局部模型优化触发器，忽略了全局模型的动态性，导致后门攻击在全局模型中的表现欠佳。A3FL通过对抗自适应的方式优化后门触发器，填补了这一空白。

主要贡献：

提出了 A3FL，这是一种基于对抗性适应的 FL 范式的新型后门攻击，其中攻击者使用类似对抗训练的技术优化后门触发器，以增强其在全局训练动态中的持久性。

攻击者能力：

可以破坏一定数量的客户端，可以访问受感染客户端的训练数据集，可以访问受感染客户端接收到的全局模型并操纵他们上传到服务器的更新。只能在有限次数通信轮次中实施控制。

攻击目标：

将后门注入全局模型,要求后门有效和持久。
如果后门全局模型预测任何用攻击者选择的后门触发器标记的测试输入作为攻击者选择的目标类，则该后门是有效的。
如果后门保留在全局模型中，即使攻击者被破坏的客户端停止上传中毒更新，而全局模型的训练继续，后门也是持久的。

2. 方法：

• 详细方法: A3FL采用对抗训练方法来优化后门触发器，使其能在全局模型的训练动态中保持持久性。特别地，A3FL引入对抗性适应损失，通过预测全局模型的变化并优化触发器以在全局模型中生存。

A3FL:

想法：如果攻击者可以预测全局模型的未来动态*，则可以更好地优化后门触发器以适应全局动态。
做法：通过对抗性地调整后门触发器以使其在全局训练动态中持久
![[Pasted image 20240920102136.png]]

line1：对抗性全局模型权重初始化
line4-8：基于当前全局模型和对抗性全局模型优化trigger
line10：对抗性全局模型权重更新
line12-14：在本地模型上使用中毒数据集训练并更新上传全局模型

1. 过去攻击手段的攻击形式与不足：

要么使用固定的触发模式，要么仅基于受损客户端的局部模型来优化触发模式。
全局模型是动态更新的会将注入后门快速消除
![[Pasted image 20240920092734.png]]
在第t次通讯时，在本地数据集中选取部分数据添加trigger，使本地模型识别后门样本为目标类，优化函数找到使后门攻击成功的最佳trigger模式
![[Pasted image 20240920094442.png]]
攻击只能保持本地模型上的高成功率，但无法在全局上也保持高成功率

2. 对抗性适应损失：

试图预测全局模型的未来动态，要求攻击者在训练模型直接学习后门的情况下进行预测和生存
![[Pasted image 20240920100055.png]]
第一项表示传统的后门攻击损失，第二项表示对抗训练，目的是让trigger不仅对当前模型有效还对更新后的模型保持攻击有效
对抗优化使模型对后门输入不敏感，更好拟合真实标签

3. 实验&结果：

• 与相关攻击比较（全局有效，更长的存活时间，更高的全局攻击成功率）
• 对防御的攻击效果测试
• 攻击中各因素对结果的影响

问题与感想：

1. 对抗训练中的Θ使用当前全局模型权重Θt初始化得到，怎么得到的？

![[Pasted image 20240920102136.png]]
初始化直接复制？