READ-2314 Learning to Detect Malicious Clients for Robust Federated Learning

READ-2314 Learning to Detect Malicious Clients for Robust Federated Learning

论文名称	Learning to Detect Malicious Clients for Robust Federated Learning
作者	Suyi Li, Yong Cheng, Wei Wang, Yang Liu, Tianjian Chen
来源	arXiv 2020
领域	Machine Learning - Federal learning - Security - Defence – Targeted & untargeted poisoning attack
问题	已有的拜占庭健壮的算法无法满足模型的性能需求，并且该算法常要求数据是IID的，有的健壮性聚合主要防御有目标攻击，并不能适应无目标攻击
方法	基于低维embedding检测恶意更新，去除含有噪声的、无关的特征，保留基本特征，以更好的区分中毒特征和良性特征，进行有目标防御
创新	特征提取

---

阅读记录

一、准备知识

1. 健壮性ML算法
   （1）选取局部更新聚合：虽然在统计上对对抗性攻击具有弹性，但可能导致全局模型存在偏见。
   （2）预测客户端更新的中心：没有很好的区分良性客户端和恶意客户端，虽然可以削弱攻击，但无法完全消除攻击
   （3）修改目标函数：无法抵御有目标攻击
2. 频谱异常检测
   （1）获取正常数据和异常数据的低阶embedding，称为频谱
   （2）在去除数据点的噪声特征后，根据良性数据和异常数据的频谱可以很好的检查出异常实例
   （3）该方法用于检测异常图像数据和时间序列数据

二、攻击模型

1. 攻击者只能检查模型的过时版本
2. 存在一个用于训练频谱异常检测的公用数据集

三、恶意客户端检测

1. 思想：在数据中移除噪声和冗余特征后，正常数据和恶意数据的在低维空间中可以被轻易区分
   

（1）良性模型之间的偏差远小于恶意模型与良性模型之间的差距，因此良性客户端的重构误差更小
（2）维数降低可能导致失真，但良性更新和恶意更新可以彼此分离，特别是在符号翻转攻击的情况下，良性模型和恶意更新是对称的

2. 恶意检测：使用正常数据训练encoder-decoder结构。
   （1）encoder将原始数据转换为低维embedding，decoder将embedding转换为重构误差，使用重构误差来优化encoder-decoder的参数，直到其收敛。
   （2）在对正常实例进行训练后，由于encoder-decoder对恶意数据的重建错误比正常实例高得多，因此可以识别异常实例
3. 近似低维编码：VAE对原始模型参数进行随机抽样作为低维编码的替代向量

四、去除恶意更新

1. 使用encoder-decoder获取每个客户端的重构误差
2. 动态阈值策略：重构误差高于阈值的更新被认定为恶意更新，在聚合步骤中被去除

---

总结

本文使用恶意检测的方式清理中毒更新，与以往类似方法不同的是，本文对原始模型更新进行了降维操作，减少了服务器的计算成本，但却要求服务器有额外的公共数据集。未来研究点在于：在保留模型的主要特征的前提下，如何高效的进行降维操作。
对于本文，还有以下内容需要学习：

1. 频谱异常检测模型的具体结构
2. 重构误差的获取方式