联邦学习数据投毒 - Data Poisoning Attacks Against Federated Learning Systems

这篇论文探讨了针对联邦学习系统的数据投毒攻击,特别是标签翻转策略。研究发现,即使少量恶意客户端也能显著影响全局模型的性能,降低测试准确率和类别召回率。攻击效果受恶意客户端比例、类别转换选择以及参与训练的时机等因素影响。防御策略包括对模型更新进行PCA降维分析,以区分恶意和良性客户端。
摘要由CSDN通过智能技术生成

论文笔记 - Data Poisoning Attacks Against Federated Learning Systems

1. 基本信息

论文标题 Data Poisoning Attacks Against Federated Learning Systems
论文作者 Vale Tolpegin, Stacey Truex, Mehmet Emre Gursoy, Ling Liu
科研机构 Georgia Institute of Technology
发表会议 ESORICS 2020
摘要概括 本篇论文首次提出联邦学习有目标投毒攻击。具体而言,在联邦学习系统中,存在少量的恶意客户端发送源于错误标注数据的模型更新以实现毒化全局模型。除此之外,还研究了攻击性能的持久性以及恶意客户端的占比对攻击性能的影响。
开源代码 https://github.com/git-disl/DataPoisoning_FL

2. 研究动机

在联邦学习系统中考虑一种场景:假设一部分客户端本身具有恶意行为或者被攻击者控制。这可能会导致这些客户端本地数据库存在错误标注的毒样本。在没有第三方可信机构验证的

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Poison frogs! targeted clean-label poisoning attacks on neural networks”这是一个关于对神经网络进行有针对性的干净标签中毒攻击的研究项目。在这种攻击中,研究人员通过修改训练数据集中的特定标签,以欺骗神经网络模型以误分类输入样本。 干净标签中毒攻击是一种隐蔽的攻击方式,因为攻击者不需要修改图像本身或添加任何可见的攻击标记。相反,他们通过对训练数据集进行精心设计的修改,使神经网络在应用中出现错误分类。这种攻击方法可能会导致严重后果,例如在自动驾驶汽车或安全系统中造成事故或功能失效。 这个项目的目的是研究这种攻击方法的可行性和效果,并提出对抗这种攻击的解决方案。研究人员首先对训练数据集进行修改,以使特定类别的图像被误分类为其他类别。然后,他们使用已经训练好的神经网络模型,通过修改训练数据集中的特定图像标签,使模型在测试阶段错误地将这些特定图像分类为不同的类别。 结果表明,即使在高性能的神经网络上进行干净标签中毒攻击也是可行的。这些攻击可以在不影响模型在其他正常输入上性能的情况下,误导模型对特定图像的分类。这使得攻击者能够操纵模型的行为,甚至可能导致系统的安全漏洞和错误决策。 为了对抗这种攻击,研究人员提出了一种改进的训练策略,称为“防御机制”。这种方法可以增强模型对干净标签中毒攻击的鲁棒性,并提供了一种有效的方法来检测和解决这种攻击。 总体而言,这个项目揭示了干净标签中毒攻击在神经网络中的潜在威胁,并提供了对抗这种攻击的解决方案。这有助于进一步加强神经网络模型在面临安全挑战时的鲁棒性,并推动相关领域的研究和技术发展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值