READ-2331 Untargeted Poisoning Attack Detection in Federated Learning via Behavior Attestation

论文名称Untargeted Poisoning Attack Detection in Federated Learning via Behavior Attestation
作者Ranwa Al Mallah, David Lopez, Godwin Badu Marfo, Bilal Farooq
来源arXiv 2021
领域Machine Learning - Federal learning - Security - untargeted poisoning attack
问题对于无目标攻击,现有的防御机制忽略了在特定节点的训练过程中对其行为的及时检查
方法attestedFL通过长时间观察客户端的持续性行为,判断客户端是否真的在训练并向目标前进,从而评估客户端是否可靠,并不对恶意客户端的数量进行假设

阅读记录

在2023年开始了这个专栏,但是中间由于有一堆事要干(懒惰 ),就停止了记录,在这个快要放假但还没有放假的好时节,打算把自己看过的文献全都放到CSDN!BUT,由于我还是有一堆事要干(懒惰 ),决定不再一点一点复制,而是直接放出阅读笔记的截图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


总结

恶意客户端并不会真正训练其本地模型,而是制造更新值。因此,通过观察客户端是否真的在一次又一次地训练迭代可以评估客户端是否可靠:

  1. 随着通信轮数增加,全局模型逐渐收敛,客户端更新趋近于0,而恶意客户端更新会为了阻碍全局模型收敛而逐渐增加。
  2. 尽管来自不同客户端的模型更新几乎是相互正交的且方差很低,但对于由同一客户端,跨轮次之间的模型更新将彼此相关性。因此,本地模型更新之间没有随时间表现出相关性的客户端可能被认为是不可靠的。
  3. 在数据分布不均匀的情况下,服务器需要接受一些模型有较大偏差的良性客户端,虽然此类良性客户端的精度较差,但随着时间推移,错误率差值将会逐渐减小,而恶意客户端的错误率差值会逐渐增加。
  • 8
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Poison frogs! targeted clean-label poisoning attacks on neural networks”这是一个关于对神经网络进行有针对性的干净标签中毒攻击的研究项目。在这种攻击中,研究人员通过修改训练数据集中的特定标签,以欺骗神经网络模型以误分类输入样本。 干净标签中毒攻击是一种隐蔽的攻击方式,因为攻击者不需要修改图像本身或添加任何可见的攻击标记。相反,他们通过对训练数据集进行精心设计的修改,使神经网络在应用中出现错误分类。这种攻击方法可能会导致严重后果,例如在自动驾驶汽车或安全系统中造成事故或功能失效。 这个项目的目的是研究这种攻击方法的可行性和效果,并提出对抗这种攻击的解决方案。研究人员首先对训练数据集进行修改,以使特定类别的图像被误分类为其他类别。然后,他们使用已经训练好的神经网络模型,通过修改训练数据集中的特定图像标签,使模型在测试阶段错误地将这些特定图像分类为不同的类别。 结果表明,即使在高性能的神经网络上进行干净标签中毒攻击也是可行的。这些攻击可以在不影响模型在其他正常输入上性能的情况下,误导模型对特定图像的分类。这使得攻击者能够操纵模型的行为,甚至可能导致系统的安全漏洞和错误决策。 为了对抗这种攻击,研究人员提出了一种改进的训练策略,称为“防御机制”。这种方法可以增强模型对干净标签中毒攻击的鲁棒性,并提供了一种有效的方法来检测和解决这种攻击。 总体而言,这个项目揭示了干净标签中毒攻击在神经网络中的潜在威胁,并提供了对抗这种攻击的解决方案。这有助于进一步加强神经网络模型在面临安全挑战时的鲁棒性,并推动相关领域的研究和技术发展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值