READ-2314 Learning to Detect Malicious Clients for Robust Federated Learning
论文名称 | Learning to Detect Malicious Clients for Robust Federated Learning |
---|---|
作者 | Suyi Li, Yong Cheng, Wei Wang, Yang Liu, Tianjian Chen |
来源 | arXiv 2020 |
领域 | Machine Learning - Federal learning - Security - Defence – Targeted & untargeted poisoning attack |
问题 | 已有的拜占庭健壮的算法无法满足模型的性能需求,并且该算法常要求数据是IID的,有的健壮性聚合主要防御有目标攻击,并不能适应无目标攻击 |
方法 | 基于低维embedding检测恶意更新,去除含有噪声的、无关的特征,保留基本特征,以更好的区分中毒特征和良性特征,进行有目标防御 |
创新 | 特征提取 |
阅读记录
一、准备知识
- 健壮性ML算法
(1)选取局部更新聚合:虽然在统计上对对抗性攻击具有弹性,但可能导致全局模型存在偏见。
(2)预测客户端更新的中心:没有很好的区分良性客户端和恶意客户端,虽然可以削弱攻击,但无法完全消除攻击
(3)修改目标函数:无法抵御有目标攻击 - 频谱异常检测
(1)获取正常数据和异常数据的低阶embedding,称为频谱
(2)在去除数据点的噪声特征后,根据良性数据和异常数据的频谱可以很好的检查出异常实例
(3)该方法用于检测异常图像数据和时间序列数据
二、攻击模型
- 攻击者只能检查模型的过时版本
- 存在一个用于训练频谱异常检测的公用数据集
三、恶意客户端检测
- 思想:在数据中移除噪声和冗余特征后,正常数据和恶意数据的在低维空间中可以被轻易区分
(1)良性模型之间的偏差远小于恶意模型与良性模型之间的差距,因此良性客户端的重构误差更小
(2)维数降低可能导致失真,但良性更新和恶意更新可以彼此分离,特别是在符号翻转攻击的情况下,良性模型和恶意更新是对称的
- 恶意检测:使用正常数据训练encoder-decoder结构。
(1)encoder将原始数据转换为低维embedding,decoder将embedding转换为重构误差,使用重构误差来优化encoder-decoder的参数,直到其收敛。
(2)在对正常实例进行训练后,由于encoder-decoder对恶意数据的重建错误比正常实例高得多,因此可以识别异常实例 - 近似低维编码:VAE对原始模型参数进行随机抽样作为低维编码的替代向量
四、去除恶意更新
- 使用encoder-decoder获取每个客户端的重构误差
- 动态阈值策略:重构误差高于阈值的更新被认定为恶意更新,在聚合步骤中被去除
总结
本文使用恶意检测的方式清理中毒更新,与以往类似方法不同的是,本文对原始模型更新进行了降维操作,减少了服务器的计算成本,但却要求服务器有额外的公共数据集。未来研究点在于:在保留模型的主要特征的前提下,如何高效的进行降维操作。
对于本文,还有以下内容需要学习:
- 频谱异常检测模型的具体结构
- 重构误差的获取方式