READ-2319 FedEraser: Enabling Efficient Client-Level Data

READ-2319 FedEraser: Enabling Efficient Client-Level Data

论文名称	FedEraser: Enabling Efficient Client-Level Data
作者	Gaoyang Liu; Xiaoqiang Ma; Yang Yang; Chen Wang; Jiangchuan Liu
来源	IEEE IWQOS 2021
领域	Machine Learning - Federal learning - Security - Defence – Data poisoning attack
问题	ML中通过遗忘消除投毒攻击影响的方法不能很好的应用在FL领域
方法	利用客户端的历史参数更新来重建非学习模型，并进一步开发了一种校准保留更新的方法，用中央服务器的存储换取未学习模型的构建时间
创新	遗忘恶意客户端的数据

---

阅读记录

一、总框架

1. 标准FL过程：服务器每隔几轮就保留一次客户端模型，以及其对应的轮次
2. 矫正训练：Calibration Training

• 初始的矫正全局模型：因为标准FL的初始模型未被目标客户端训练，FedEraser可以直接更新全局模型，而无需在第一个重建时期校准剩余客户端的参数
• 方法
  ①让矫正客户端在前一轮校正后的全局模型上进行矫正训练
  ②在矫正训练后，每个矫正客户端计算当前的更新，并发送给服务器进行矫正

3. 更新矫正：Update Calibrating

• 方法
  ①服务器获得每个客户端关于校准的全局模型的当前更新
  ②使用当前更新计算矫正值
• 矫正
  
  U：服务器保留的客户端更新
  ^：客户端在前一轮矫正全局模型上训练得到的更新
  ~：保留的客户端更新需要矫正的值
  绝对值：表示需要矫正的全局模型参数的值
  范数：需要矫正的全局模型的方向

4. 矫正更新聚合：Calibrated Update Aggregating
   聚合矫正值
   
   w：由数据量占比计算的客户端权重
5. 未学习的模型更新：Unlearned Model Updating
   矫正全局模型
   
   M：当前的全局模型
   U：聚合的矫正更新
6. 伪代码

二、时间损耗分析

1.服务器保留了几轮更新就需要重训练几轮
2.矫正客户端只需要训练少量epoch

---

总结

FedEraser通过在标准FL之后，附加矫正训练，消除某一个客户端在训练过程中对全局模型的影响。在标准FL中，服务器每隔一段时间就保留一次客户端更新。在矫正训练中，良性客户端重新训练，根据重训练更新确定方向，根据收集的更新确定更新值，最终服务器聚合矫正值，获得矫正模型。
在这个过程中存在一些问题：

1. 若攻击者执行的攻击是one-shot攻击，这将损失一部分性能
2. 需要与恶意检测的算法结合
3. 是否可以在训练过程中就进行消除，从而减少附加通信量
4. 在查看实验结果的时候发现，FedEraser虽然可以加快重建模型的速度，但是不能完全去除攻击产生的影响