READ-2205 SparseFed Mitigating Model Poisoning Attacks in Federated Learning with Sparsification

READ-2205 SparseFed Mitigating Model Poisoning Attacks in Federated Learning with Sparsification

论文名称	SparseFed Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
作者	Ashwinee Panda, Saeed Mahloujifar, Arjun N. Bhagoji, Supriyo Chakraborty, Prateek Mittal
来源	International Conference on Artificial Intelligence and Statistics 2022
领域	Machine Learning – Federal learning – Against Poisoning Attacks
问题	已有的检验模型健壮性的方法对数据集的分布、攻击者参与的迭代轮次、客户端数量、中毒数据的数量存在限制，不具有普适性;已有的拜占庭健壮的聚合算法虽然可以缩小中毒模型和干净模型在单次迭代的差距，但学习的迭代性将导致一开始的微小差距转变为指数级的差距，所以无法应用在cross-device FL中
方法	通过使用全局模型top-k稀疏更新和客户端级别的梯度裁剪，削弱模型中毒攻击的影响
创新	稀疏更新

---

阅读记录

一、攻击模型

攻击方式：有目标的模型投毒攻击

二、基于认证半径的健壮性评估框架

1. 传播错误：因为协议是自适应的，所以在早期迭代中引入的小的附加错误可以相互影响并产生较大的差异。
2. Coordinate Lipschitz：对于任何维度，中毒的梯度值不会偏移太远
   
3. (k,γ)-稀疏：如果训练阶段第t轮通信中，所有梯度只有k个非零元素，并且梯度更新的结果与原梯度的距离小于γ，则称FL协议是(k,γ)-稀疏的
   
4. 认证半径
   （1）（存在约束）定义：良性输出与恶意输出的距离上界
   
   （2）（无约束）定义：在不对数据集的分布、攻击者参与的迭代轮次、客户端数量、中毒数据的数量进行限制的情况下，对经验半径进行定义
   
   （3）使用
   ①在单次迭代中，减小良性输出和恶意输出的距离，提高模型的健壮性
   ②通过集合组合边界，限制标签概率的变化
   （4）计算
   若一个原语满足c维Lipschitz和(k, γ)-稀疏，那么可以计算其认证半径如下：
   

三、SparseFed

1.使用经验半径作为目标函数的影响
①加性误差：与噪声向量上限有关的，攻击者攻击性–>通过客户端级的梯度范数裁剪进行缓解
②传播误差：与Lipschitz常量相关的，方案的内在健壮性–>通过稀疏更新进行缓解
2.核心：恶意客户端为了损坏模型性能，其更新的方向与大多数良性客户端的方向不一致
①全局模型只更新top-k参数
②top-k参数与错误反馈有关
③错误反馈记录了客户端梯度裁剪后的聚合情况
3.整体过程

①客户端下载全局模型，并用本地数据集计算梯度更新
②客户端根据特定的L2范数进行梯度裁剪，以控制加性误差
③服务器用参数平均进行聚合，并将聚合的更新与错误反馈向量相加
④服务器从错误反馈向量中提取前k个最重要的维度，并将其作为稀疏更新广播给下一轮参与通信的客户端，从而减少传播误差

---

实验结果

检验在cross-silo设置下稀疏参数k的影响

对于k过小或过小，攻击和模型都不会收敛。

检验在cross-device设置下稀疏参数k的影响

• 适当选择k可以在不影响收敛的情况下减轻攻击。

在cross-device设置下检验对共谋攻击的防御效果

当防御失败时用DNC标记：

• SparseFed受到共谋攻击后仍能保持经验稳健性。

在cross-device设置下检验对拜占庭攻击的防御效果

• 在cross-device设置中，拜占庭式攻击更容易对抗先前的防御，但SparseFed仍然能够缓解这些问题

在cross-device设置中，评估在没有攻击的情况下每种防御对收敛的影响

• Krum和Median不收敛。
• 当稳健性参数f较小时，Trimmed Mean和Bulyan对测试精度的影响较小。
• SparseFed不会显著影响测试精度

---

总结

1. 本文利用“恶意客户端的梯度更新方向与良性客户端的更新方向会存在差异”的思想，使用客户端级别梯度裁剪和稀疏更新的方法，限制模型投毒攻击对模型的影响
2. 如果从FL-WBC所提出的观点来说，我认为本文全局模型聚合后的筛选top-k参数的操作可以放到客户端进行，类似于对本地模型进行定向的dropout操作，客户端只需将评估后有用的top-k参数发送到服务器聚合。又由于恶意客户端的梯度更新方向存在偏移，恶意客户端所评估出的top-k参数会向攻击方向更新，因此服务器可以根据不同客户端的top-k参数检查潜在的攻击者，去除恶意客户端后再进行聚合。

---

下一步学习计划

下一步研究后门攻击