READ-2321 BaFFLe: Backdoor detection via Feedback-based Federated Learning

论文名称	BaFFLe: Backdoor detection via Feedback-based Federated Learning
作者	Sebastien Andreina; Giorgia Azzurra Marson; Helen Möllering; Ghassan Karame
来源	IEEE ICDCS 2021
领域	Machine Learning - Federal learning - Security - Defence – Backdoor attack
问题	已有的防御投毒攻击的方法不能与安全聚合兼容，并且无法抵御适应性攻击，或者容易忽略客户端隐私性，或计算量大
方法	由客户端验证全局模型是否被嵌入了木马，通过反馈循环投票来决定是否放弃本轮全局模型。为了识别恶意客户端更新，在每个class的基础上进行错误预测，当错误率超出经验阈值时发出警告
创新	使用客户端数据的可用性检验全局模型是否中毒

---

阅读记录

一、攻击模型

1. 女巫攻击：攻击者同时控制多个恶意客户端
2. 后门攻击

二、防御手段

1. 思想
   （1）联合模型验证：让客户端使用自己的隐私数据对全局模型进行验证并反馈给服务器，这称为Feedback loop
   问题：恶意客户端可能会进行恶意反馈
   （2）针对适应性攻击的数据不可预测性：由于不同客户端的数据具有多样性，这使得攻击者难以避免被发现
2. Feedback loop
   

• 跨轮次引导信任：Bootstrapping trust across rounds
  ①在固定的测试集上获取全局模型的预测行为，并设置一个拒绝阈值
  ②若预测差距超过拒绝阈值，则认为该模型已中毒，需要被丢弃，将之前的模型当作良性模型
• 对早期模型放松信任：Relaxing the trust early in model
  在早期训练过程中，全局模型十分不成熟，此时进行的投毒会被快速去除，对全局模型影响较小
• 反馈回路规格：Feedback loop specification
  ①将参与训练的客户端成为contributor，将参与验证的客户端成为validating client，每个客户端判断模型是否中毒
  ②设置仲裁阈值，若多数客户端接受模型，则接受本轮更新，否则把前一轮的更新作为本轮更新
• 处理恶意投票：Handling malicious votes
  ①仲裁阈值的选择依赖于系统可以容忍的恶意客户端的数量
  ②在数据分布不均匀的情况下，部分客户端可能无意中提供了全局模型的错误判断，而聚类并选择数量最多的cluster作为良性客户端的防御方法可能无法很好的检测出恶意客户端
  ③根据以上原因，最佳仲裁阈值的范围应该为
  ④根据经验确定仲裁阈值
  

3. 伪代码
   

二、模型验证

1. 作用：针对语义后门设计专门的模型验证过程，不同的验证过程可能适合检测不同的攻击
2. 思想：对比当前全局模型和之前已经接受认为是干净的全局模型
   
3. 方法

• 评价指标：错误偏差
  ①已被接受的正确模型和本轮模型将class y错误分类为其他类的差值
  
  ②已被接受的正确模型和本轮模型将其他类错误分类为class y的差值
  

• 计算评估矩阵
  

4. 伪代码
   

---

总结

作者首次提出了联邦验证的概念，由客户端进行训练并验证，通过客户端对模型的投票决定是否保留本轮全局模型。同时，该方法由于不对客户端更新进行分析，可以很好的与安全聚合兼容。