READ-2323 Attack of the Tails Yes, You Really Can Backdoor Federated Learning

论文名称	Attack of the Tails Yes, You Really Can Backdoor Federated Learning
作者	Hongyi Wang, Kartik Sreenivasan, Shashank Rajput
来源	NeurIPS 2020
领域	Machine Learning - Federal learning - Security – Semantic backdoor attack
问题	~
方法	使用边缘案例后门对在训练集中代表性不足的任务进行攻击，种边缘案例后门不常发生，但一旦出现，可能会对较小的一类用户组产生影响
创新	提出了边缘案例后门，使用投影梯度下降（PGD）训练模型

---

阅读记录

一、边缘案例后门攻击

1. p边缘案例样本集
   

• 样本以极小的概率被选中，为样本分布的边缘样本点
• 检测分布外样本比检测尾部样本容易，因此不考虑不在样本分布之内的样本点
  

2. 攻击方法

• 黑盒攻击=数据投毒攻击：在良性数据和边缘投毒数据上进行正常的训练
  白盒攻击：模型投毒攻击
• PGD攻击
  若客户端使用SGD太久，会导致模型更新远远的偏离于原始全局模型，容易被梯度裁剪所防御，因此攻击者可以周期性的将模型参数投影到以之前全局模型为球心的球上
  ①攻击者需选择较小的攻击预算σ（本地更新与全局模型的距离最值），以保证更好的隐蔽性
  ②攻击者运行PGD，使攻击者的更新投影到以全局模型为球心，以σ为半径的球上
• PGD攻击+模型替换

3. 构建边缘案例样本集：利用边缘案例构造难以发现的后门样本

• 当后门边缘样本数量超过客户端数据集总量的一半以上，可以获得较好的攻击效果
• 攻击者向DNN提供良性样本，并收集倒数第二层的输出向量，通过拟合获得聚类数量等于类的数量的高斯混合模型，攻击者可以使用该模型测量任何给定样本的概率密度，并在需要时过滤掉

二、后门特征

1. 假设激活矩阵在某一层为全秩，则恶意样本的存在意味着存在后门攻击
   

• X：第l层的参数
• 良性模型与恶意模型的差距：
  ①上限：预防后门与防御恶意样本一样困难，说明证明后门的健壮性与证明模型健壮性一样困难
  ②下限：如果后门数据与良性数据的最短距离接近0，攻击者所构造的后门是无效的，从而间接证明了使用边缘样本的合理性

2. 检测后门的难度：NP-hard
   给定函数f，g，将后门定义为是否存在某些输入使得两个函数的输出不同的决策问题
   
3. 检测边缘后门的难度
   只要参数是非正的，ReLU函数就为零。因此，只要找到两个几乎处处为负的网络，并且在一个小集合上有一个网络为正就足够了。
   

---

总结

本文利用了极端数据，嵌入了一个更加隐蔽的后门，该后门正是利用了数据分布不均匀的情况，使得其他良性客户端难以消除恶意更新。同时，对恶意更新进行投影约束，使得梯度裁剪等方式难以察觉这种攻击。