干货！FLDetector：通过检测恶意用户防御联邦学习中的模型污染攻击

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

联邦学习容易受到模型污染攻击：恶意用户可以通过改变上传给中心服务器的模型梯度的方式破坏模型的训练。

现有的防御主要依赖于拜占庭鲁棒的方法，可以在少量恶意用户的情况下训练一个好的模型。然而在有较多恶意用户的情况下训练一个好的模型仍然比较困难。我们的FLDetecor可以通过检测并剔除恶意节点的方式解决上述问题。

FLDetector主要基于如下观察：在模型污染攻击中，恶意用户上传的模型梯度在多轮迭代中是不一致的。

FLDetector通过检测上述的一致性来确定恶意用户并及时剔除，剩下的用户可以通过联邦学习学习到一个好的模型。我们在多个benchmark数据集和模型污染攻击上验证了FLDetector的有效性。

本期AI TIME PhD直播间，我们邀请到中国科学技术大学计算机学院博士生—张载熙，为我们带来报告分享《FLDetector：通过检测恶意用户防御联邦学习中的模型污染攻击》。

张载熙：

中国科学技术大学计算机学院博士生，师从刘淇教授。他的主要研究方向包括图表示学习，机器学习安全与隐私，分子属性预测与生成等。他以第一作者在NeurIPS，AAAI，IJCAI等学术会议发表多篇论文。

Background: Federated Learning

首先，我们介绍一下联邦学习的概念及其工作流程。联邦学习是一个分布式学习的范式，有一个服务器Server协调整个联邦学习的训练过程。Server之上还有一个全局模型，也是联邦学习希望去训练好的总模型。

由于是分布式学习，也包括一些Clients客户端如手机、智能平板、电脑等。这些客户端也可能存在一些隐私数据，也具有一定的计算能力在自己的数据上去训练一些网络。

我们介绍一下联邦学习的训练过程，在每一个训练的开始阶段，联邦学习的服务器Server会将全局模型的参数分发到参与这轮迭代的客户端之上。

这些客户端在收到全局模型的参数之后，会在其本地的数据上训练模型，最终将这些模型梯度发送给服务器。服务器会在收到的模型梯度上做一个Aggregation如加权平均得到聚合后的梯度，并更新模型。这也是联邦学习训练一轮的过程，之后