【论文笔记】The Limitations of Federated Learning in Sybil Settings

最新推荐文章于 2023-04-25 16:37:12 发布

AltmanChan

最新推荐文章于 2023-04-25 16:37:12 发布

阅读量1.4k

点赞数

分类专栏：数据科学文章标签：论文阅读

本文链接：https://blog.csdn.net/weixin_43747691/article/details/127662463

版权

数据科学专栏收录该内容

4 篇文章 0 订阅

订阅专栏

摘要：

基于分布式多方数据的联合学习是一种新兴的范式，它迭代地聚合来自一组设备的更新以训练一个全球共享的模型。然而，依靠一组设备为女巫攻击打开了大门：恶意设备可能由单个攻击者控制，该攻击者指挥这些设备攻击系统。

我们考虑了联邦学习对女巫攻击的敏感性，并在这种情况下提出了女巫目标和策略的分类。我们描述了一种新的 DoS 攻击，我们称之为训练膨胀，并提出了几种执行这种攻击的方法。然后，我们评估最近的分布式 ML 容错提议，并表明这些提议不足以缓解几种基于 sybil 的攻击。最后，我们引入了一种针对基于 sybil 的中毒的防御方法，称为 FoolsGold，它根据客户端更新的多样性来识别 sybil。我们表明，在应对多种类型的中毒攻击时，FoolsGold 超越了最先进的方法。我们的工作是开源的，可以在线获取：https://github.com/DistributedML/FoolsGold

Published：

23rd International Symposium on Research in Attacks, Intrusions and Defenses

本文贡献：

提供了针对联邦学习的基于女巫攻击的分类法，其中包括根据女巫策略对现有FL攻击进行配对。贡献了一种称之为训练膨胀的新型 DoS 攻击。
评估了针对 ML 的基于恶意 sybil 攻击的现有防御措施（Multi-Krum、median、 trimmed mean）。
为联邦学习设计、实施和评估了一种针对基于女巫的针对性中毒攻击的新防御方法，该防御方法使用基于客户端间贡献相似性的每个客户端的自适应学习率。
在勾结女巫的背景下，我们设计和评估通过女巫执行的智能中毒攻击，并证明 FoolsGold 可以防御它们，同时提出进一步缓解的策略。

联邦学习：新的威胁模型

联邦学习允许客户端加入和离开，容易收到Sybil攻击。在Sybil攻击中，敌手通过使用多个串通别名加入系统来造成影响。

虽然攻击者对FL系统的影响可能随着Sybil的增加而增加，但Sybil从系统中获得的信息保持不变：全局模型的快照。因此，攻击策略更加有限。

攻击类型

在这里插入图片描述

Model Quality

修改训练后模型的性能。

Poisoning Attacks

标签反转攻击（Label-flipping attack）
在这里插入图片描述

Backdoor Attacks

在这里插入图片描述

Privacy

推理攻击（Inference attacks）

联邦学习机制要求所有参与者通过在本地数据集训练全局模型用于上传梯度。在这种情况下，如果联邦学习系统中存在一个非可信且知识丰富的服务器，则无法保证用户的隐私数据信息。这种非可信服务器可以获取大量涉及每个参与者的局部训练模型的辅助知识（如模型结构、用户身份和梯度），并且有足够的能力进行用户隐私信息泄露。

成员推断攻击：利用漏洞，敌手可以推断出某个确定数据点的是否存在。

属性推理攻击：利用漏洞去推测出训练数据集独立于机器学习任务之外的特征。