READ-2309 ARIBA: Towards Accurate and Robust Identification of Backdoor Attacks

READ-2309 ARIBA: Towards Accurate and Robust Identification of Backdoor Attacks in Federated Learning

论文名称	ARIBA: Towards Accurate and Robust Identification of Backdoor Attacks in Federated Learning
作者	Yuxi Mi, Jihong Guan, Shuigeng Zhou
来源	arXiv 2022
领域	Machine Learning - Federal learning - Security - backdoor attack
问题	已有的防御后门攻击的方法存在以下不足：1.需要先验知识或经验阈值；2.依赖于数据IID的假设；3.容易被攻击者躲避；4.许多方法依赖于模型的总体特征，但是这些特征对于精确识别攻击者是粗糙的
方法	由于CNN的filter可以辨别后门，因此对filter进行前处理，获得获得以零为中心梯度，然后将其输入无监督异常检测算法，计算每个客户端的不正常分数
创新	通过filter检测后门攻击

---

阅读记录

一、攻击模型

1. 攻击者能力
   （1）攻击者可以控制多个恶意客户端，获取客户端的本地数据并操控训练过程，修改本地更新
   （2）攻击者不能访问控制其他良性客户端
   （3）攻击者知道服务器执行的所有可能的防御方式
   （4）假设攻击者在任何时候都可以被服务器选中
   （5）恶意客户端之间可以共享攻击目标和后门
2. 攻击者目标：backdoor + scaling attack
   当全局模型收敛时，良性客户端的模型与全局模型相似，在二者抵消后，只剩下恶意客户端的更新。
   
3. 攻击场景
   
   （1）有目标后门：攻击者持有一个或多个带有错误标签的数据集。如果同一组图像在推断时间再次出现，全局模型将进行错误分类。
   （2）像素形式后门：攻击者在原始训练图像上覆盖由单个或一组明亮像素组成的图案。如果该图案出现，将错误分类。
   （3）语义后门：相比像素形式后门，攻击者没有添加人工图案，而是选择了一种自然出现的特征

二、ARIBA

1. 出发点
   （1）发现：经过前处理前后，CNN中良性客户端和恶意客户端的filter存在显著差别差别。由此可见，通过检查模型权重可以很好的发现后门攻击。
   
   （2）合理性：在累计梯度后，恶意客户端的模型接近于后门目标，更新方向与良性客户端不同，尽管恶意客户端可以隐藏其攻击，但是差异仍然存在，最终体现在模型权重上

2. 总框架

（1）服务器收集客户端更新
（2）对模型参数进行预处理，以获得filter的离散形式
（3）收集filter，通过无监督的异常检测算法检测异常filter
（4）基于检测出的异常filter个数，计算每个恶意客户端的异常分数，将最可疑的客户端视为攻击者并移除
（5）使用剩余更新进行聚合

• 算法
  

三、具体步骤

1. 前处理
   （1）获取以0为中心的梯度
   ①计算客户端参数与第t轮全局参数的差距
   
   ②计算客户端参数与原始第t+1轮全局参数的差距，以更好的区分良性客户端和恶意客户端
   
   （2）获取第一个卷积层的卷积核
   
   由此图可以看出，在不同攻击能力的情况下，难以通过离散梯度分辨恶意客户端。
2. 检测恶意卷积核
   （1）相比普通的无监督恶意检测算法，本文要求：
   ①由于检测单一的卷积核可能无法识别一个隐蔽的攻击者，因此本文将客户端所有卷积核作为一个整体，计算正常和不正常的卷积核数，允许检测算法错误判断一个filter。在可以准确区分恶意客户端和良性客户端的前提下，有一定容错性。
   ②强调算法效率。在现实场景下，客户端较多且卷积核数量巨大的情况下，检测开销较大。
   （2）使用马氏距离进行异常检测
   
   ①计算每个客户端每个卷积核的马氏距离

• 链接：https://zhuanlan.zhihu.com/p/46626607
• 定义：马氏距离修正了欧式距离中各个维度尺度不一致且相关的问题
• 原理：将变量按照主成分进行旋转，让维度间相互独立，然后进行标准化，让维度同分布
• 关系：Σ是多维随机变量的协方差矩阵，μ为样本均值，如果协方差矩阵是单位向量，也就是各维度独立同分布，马氏距离就变成了欧氏距离。
  ②根据阈值γ判断卷积核是否异常
  

3. 检测恶意客户端
   （1）计算每个客户端的异常分数：异常分数=客户端的异常卷积核的个数
   
   （2）去除异常客户端
   

①当异常分数过高时：异常卷积核越多，更新的方向越不同，越有可能是恶意客户端
②当异常分数过低时：当恶意客户端想要隐藏攻击时，攻击目标和隐藏目标可能相互抵消，卷积核更加分散，更不容易被识别成异常卷积核

---

总结

与其他利用相似度检测恶意客户端的防御方式相比，ARIBA检测的是更容易体现恶意目标的卷积核，而非整体模型，大大减少了计算成本。
在阅读过程中觉得ARIBA判断异常客户端的方式有点牵强，并且在实验部分，作者选择的检验防御能力的指标不是很好，没有办法很好的看出ARIBA实际的性能。