一、可抵抗梯度反演
是联邦学习中的一种隐私威胁,它允许攻击者从模型的梯度信息中重建出用户的原始训练数据。这种攻击方法对联邦学习的隐私保护构成了严重挑战,因为它破坏了联邦学习中“数据可用不可见”的原则。梯度反演攻击的主要思想是利用模型训练过程中交换的梯度信息,通过优化技术重建出参与训练的原始数据。在联邦学习中,通常只交换模型的梯度而不交换训练数据,以保护用户数据的隐私。
尽管已有一些防御方法被提出,但梯度反演攻击的研究仍然在不断进展,攻击者可能会开发出新的攻击技术来绕过现有的防御措施。因此,未来的研究方向可能包括:
- 探索梯度反演攻击在其他场景下的应用,如目标检测、语义分割等任务。
- 研究对主动攻击的隐藏与检测方法,以提高联邦学习的安全性。
- 研究训练梯度的理论安全边界,以更精准地平衡隐私增益与性能损失。
- 开发复合梯度反演防御方法,同时利用多种防御手段来提高联邦学习的隐私保护能力。
二、投毒攻击(Data Poisoning Attack)
是一种针对人工智能(AI)系统的训练数据进行恶意篡改的行为,其目的是让训练出的AI模型在预测时产生错误的输出,从而影响模型的决策和性能。这种攻击可以由内部不满的员工或外部黑客发起,动机可能是破坏AI系统的可信度、造成品牌损害或减缓AI的发展进程。
投毒攻击的类型包括:
- 模型偏斜(Model skewing):攻击者试图通过污染训练数据来改变模型的分类边界,从而降低模型的准确率。
- 反馈武器化(Feedback weaponization):攻击者滥用反馈机制,操纵系统将善意内容错误分类为恶意内容。
- 后门攻击(Backdoor attacks):在训练数据中注入含有特定触发器的数据,使得模型在看到带有触发器的输入时做出错误的预测。
- 分割视图投毒:利用数据收集和模型训练之间的时间差,攻击者注入恶意内容,导致将来重新下载的数据被投毒。
- 标签投毒:攻击者更改数据点的标签而不是数据点本身,误导机器学习模型,导致错误的模型结果和决策。
根据攻击者对AI系统的了解程度,投毒攻击可以分为: