- 博客(95)
- 收藏
- 关注
原创 READ-2365 Byzantine-Robust Learning on Heterogeneous Datasets via Resampling
针对本文所提出的攻击,mimic attack只是针对基于几何中值的聚合方式提出的,不具有推广性;针对本文提出的防御方法,防御时设置同一个梯度被采样的次数上限的做法,很容易就可以被破解:攻击者在实施共谋攻击后,使用噪声扰动就可以绕过防御,攻击者甚至可以共谋设置噪声加入的方式,使得所有恶意客户端的噪声相加后相互抵消。
2024-01-24 16:47:21
467
原创 READ-2364 Deep Model Poisoning Attack on Federated Learning
出发点(1)交替最小化:交替训练一小批中毒数据和干净数据,平衡主任务和对抗任务(2)正则化项:使得恶意模型的更新量与良性客户的更新量相似挑战:计算Hessain矩阵需要耗费大量的时间,但服务器可能会剔除不能按时回复的客户端。
2024-01-24 16:47:13
481
原创 READ-2363 Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor Attacks in Federated
出发点:后门容易在之后的通信过程中被消除,因此需要嵌入能够与良性更新共存的后门设计:本文在利用恶意数据计算完恶意模型后,恶意客户端需要利用本地的良性数据模拟良性客户端贡献对攻击的消除作用,从而保证在未来通信过程中,攻击可以持久存在。
2024-01-24 16:47:03
487
原创 READ-2362 Multi-metrics adaptively identifies backdoors in Federated learning
本文提出了一种融合多度量指标的防御策略,从不同角度衡量客户端的恶意性。
2024-01-24 16:46:38
538
原创 READ-2361 Neurotoxin: Durable Backdoors in Federated Learning
相比于PGD, Neurotoxin将中毒更新投影到良性更新不常使用的参数空间上,使得后门攻击的持久性更强。
2024-01-24 16:46:27
451
原创 READ-2360 Securing Federated Learning against Overwhelming Collusive Attackers
优点基于相关性观察,本文利用图论的方法进行恶意检测,较好的避免了假阳的现象不足在数据non-IID场景下可以观察到文中所提到的相关性关系,在IID场景下是否仍然成立?
2024-01-23 13:23:35
369
原创 READ-2359 FRL: Federated Rank Learning
本文基于Supermask思想提出了一种新的FL框架。在FRL中,不同客户端共同寻找使得子网路性能最佳的Supermask,而非共同训练全局模型。在该过程中,由于客户端与服务器之间只传递全局模型中边的排名,大大缩减了恶意客户端的攻击空间,同时降低了客户端的通信开销。
2024-01-23 13:23:19
417
原创 READ-2358 Defending against Poisoning Attack in Federated Learning Using Isolated Forest
缺点①需要辅助数据集训练辅助模型②异常检测的效果受辅助模型的影响③孤立森林不适用于高维模型优点①使用孤立森林进行异常检测,可以更好的减少假阳和假阴的情况②孤立森林算法具有线性时间复杂度,适用于客户端数量较多的情况,并且由于每棵树都是互相独立生成的,因此可以部署在大规模分布式系统上来加速运算。
2024-01-23 13:22:58
440
原创 READ-2357 Shielding Federated Learning Robust Aggregation with Adaptive Client Selection
已有的防御措施要么选择所有客户端参与通信,要么选择其中的一个随机子集,这种非理性的客户端选择策略即使在之前迭代中已识别出恶意更新,也可能会不断选择恶意客户端参与聚合,导致收敛缓慢,并浪费通信和计算资源。因此,服务器需要自适应地选择客户端。在女巫攻击场景下,使用欧几里德距离作为评价指标时,良性更新之间的相似度达到了预期的水平;
2024-01-23 13:22:42
362
原创 READ-2356 Long-Short History of Gradients is All You Need: Detecting Malicious and Unreliable Client
无目标攻击(1)符号翻转攻击的会使恶意客户端与所有客户端的梯度中值有很大的角度偏差(2)加性噪声攻击者和不可靠客户端具有类似的短期历史更新,但可以区别于其他客户端,可以先将上述两类客户端与其他客户端区分开来,又因为加性噪声攻击者的梯度远离于不可靠的客户端的梯度,因此可以进一步分离。有目标攻击:有目标攻击使全局模型指向一个特定的收敛点,这使得攻击者对短期噪声有很强的抵抗力,而在整个历史上容易辨识不可靠客户端:从短期历史更新来看,不可靠客户端更新离良性客户端更新更远。
2024-01-23 13:22:30
337
原创 READ-2355 Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering
从客户端更新的大小上看,小幅度的梯度对训练的危害较小,而大幅度的梯度是恶意的,因此应该执行宽松的下阈值和严格的上阈值;从客户端更新的方向上看,梯度向量的元素符号分布可以为检测高级模型投毒攻击提供有价值的信息。
2024-01-23 13:22:10
397
原创 READ-2354 FLCert: Provably Secure Federated Learning Against Poisoning Attacks
本文提出了可认证的安全防御方法,通过多全局模型的模式进行训练与预测。问题由于分组的作用,该方法对模型性能存在一定损失,没有达到保真度的要求启示(1)联邦学习安全防御技术中存在的挑战之一:已有的防御方法没有对投毒攻击给出可证明的安全保证(2)如何充分利用客户端数据建立多个全局模型,同时不增加客户端计算开销是一个有趣的问题未来在推导认证安全级别时,FLCert没有利用任何关于学习任务或基本FL算法的先验知识。在推导经认证的安全保证时涉及这样的先验知识是一个有趣的未来工作。
2024-01-23 13:21:50
390
原创 READ-2353 TDFL: Truth Discovery Based Byzantine Robust Federated Learning
在诚实大多数的场景下,服务器先利用客户端之间的成对相似度去除恶意客户端;在拜占庭大多数的场景下,服务器利用客户端之间的相似度构造图,并将最大团作为良性簇。然后,服务器利用客户端模型与全局模型之间的距离设置客户端的聚合权重。
2024-01-23 13:21:27
401
1
原创 READ-2352 RVFR: Robust Vertical Federated Learning via Feature Subspace Recovery
本文针对VFL的安全问题进行防御,从恢复数据底层特征的角度抵御攻击。该方法未达到保真度的要求,对模型性能存在影响侵犯了客户端数据的隐私性本文给我的启发是:在处理中毒输入时,除了处理原始数据,还可以从数据特征入手,但是这两种思路都存在隐私性的问题。
2024-01-23 13:21:14
381
原创 READ-2351 Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updat
从空间维度上看,恶意客户端会显示出可识别的模式,这些空间特征可以潜在地用于检测和去除异常更新;从时间维度上看,在cross-device FL中,服务器每轮仅选择部分客户端进行通信,参与其中的恶意客户端数量则更是动态且高度可变的,所以还需要观察客户端的时间特征,如果某一客户端的当前更新明显偏离以前的情况,这可能说明参与通信的客户端状态发生了变化。
2024-01-23 13:20:57
386
原创 READ-2350 BayBFed: Bayesian Backdoor Defense for Federated Learning
论文名称BayBFed: Bayesian Backdoor Defense for Federated Learning作者Kavita Kumari, Phillip Rieger, Hossein Fereidooni, Murtuza Jadliwala, Ahmad-Reza Sadeghi来源arXiv 2023领域Machine Learning - Federal learning - Security – Backdoor attack问题已有
2024-01-23 13:20:31
472
原创 READ-2349 DeepSight: Mitigating Backdoor Attacks in Federated Learning Through Deep Model Inspection
对于每一张图片,神经网络的目的均是使对应标签的预测概率最大化,当使用另一个具有不同标签的样本进行训练时,前一个图像的预测向量也会受到影响。当某个类别的样本经常出现时,模型预测将更偏向于对该标签的预测。因此,当所有客户端都从相同的全局模型出发时,具有相似数据的客户端将试图为其数据样本实现相似的预测,因此他们将以相似的方式调整参数,从而导致相似的模型更新,进而两个客户端模型与全局模型的差距相似。
2024-01-23 13:20:17
376
原创 READ-2348 Security-Preserving Federated Learning via Byzantine-Sensitive Triplet Distance
若评价客户端恶意性的函数仅基于局部模型之间的距离来计算可能丧失了部分信息。因此,可以使用三元组距离设计评价函数,同时对比全局模型与其他两个客户端模型之间的距离。
2024-01-23 13:20:05
361
原创 READ-2347 Local model poisoning attacks to byzantine-robust federated learning
本文首次提出了模型投毒攻击,以及相应的简单防御。
2024-01-23 13:19:21
346
原创 READ-2346 XMAM:X-raying Models with A Matrix to Reveal Backdoor Attacks for Federated Learning
观察发现,模型softmax层的输出在恶意更新和良性更新之间表现出可区分的模式。
2024-01-23 13:18:52
413
原创 READ-2345 FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning
为了增强模型自身的稳健性,良性客户端可以在数据存在噪声的情况下进行训练,让模型学习到更稳健的特征,提高模型的泛化性。
2024-01-22 18:55:50
422
1
原创 READ-2344 Better Together Attaining the Triad of Byzantine-robust Federated Learning via Local Updat
在CNN中,最大池化层可疑在降低特征维度的同时提取最活跃的特征。类似的,我们可以通过提取客户端更新最活跃的特征来放大客户端更新的恶意和善意,这样做的好处在于:①由于提取了最多激活的特征,因此在放大后客户端更新变得更加可区分;②通过平移不变性来增强保真度;③特征空间的显著降维可以极大地提高检测效率。
2024-01-22 18:52:56
358
原创 READ-2343 Certified Robustness for Free in Differentially Private Federated Learning
本文首次从理论上分析了DP对防御投毒攻击的作用以及性能和健壮性的权衡问题。
2024-01-22 18:49:23
339
原创 READ-2342 Efficient federated learning under non-IID conditions with attackers
在数据异构的场景下,为了保证全局模型可以学习到更全面的数据信息,需要根据数据分布划分客户端模型,并在不同分布中去除恶意客户端。
2024-01-22 18:46:45
324
原创 READ-2341 Siren: Byzantine-robust Federated Learning via Proactive Alarming
现有的方法仅仅依靠FL服务器上的检测机制来检测攻击,当全局模型被恶意客户端成功地影响后,良性客户端必须被动地接受破坏的全局模型,因此防御应该不仅仅部署在服务器端,还要部署在客户端。
2024-01-22 18:43:17
372
原创 READ-2340 Sageflow: Robust Federated Learning against Both Stragglers and Adversaries
良性模型为了对数据的真实标签获得更高的置信度,将具有更低的预测熵与损失值,而恶意模型倾向于随机预测所有类别的数据,因此在辅助数据集上得到的熵和损失更大。
2024-01-22 18:38:34
353
原创 READ-2339 Defending against the Label-flipping Attack in Federated Learning
某一层神经元的所有误差及其相关权值会影响后一层神经元的计算误差,所以随着模型规模的增大,攻击的影响将与无关神经元的计算误差混合在一起,使得网络中大多数参数都是冗余的,因此仅需提取部分神经元进行分析。攻击者的目标是最大化目标类的预测概率,最小化源类的预测概率。因此,恶意客户端在训练过程中,相关神经元梯度的大小应该大于无关神经元梯度的大小,而良性客户端则相反。所以,训练过程中,良性客户端和恶意客户端在相关神经元梯度之间的夹角大于无关神经元梯度之间的夹角。
2024-01-22 18:32:26
440
原创 READ-2338 FLARE Defending Federated Learning against Model Poisoning Attacks via Latent Space Repres
客户端模型在倒数第二层产生的feature map可以表示输入数据的高维特征,而该高维特征体现了不同客户端模型对数据的关注点,又因为良性模型和恶意模型针对同一输入所关注的重要特征不同,所以可以利用该高维特征来区分不同客户端。由于共谋攻击者所关注的特征一致,因此会有相似的模型输出,从而导致恶意客户端输出之间的相似度会小于良性客户端。
2024-01-22 18:27:46
380
原创 READ-2337 Defense against backdoor attack in federated learning
在收敛轮进行的攻击会直接影响全局模型,而在全局模型已中毒的情况下,全局模型的更新更接近于恶意客户端的更新的,与良性客户端更新的距离较远;在早期通信进行的攻击下,恶意模型在主任务和后门任务上的准确率都较低,因此难以从性能的角度检测后门。但是,由于在嵌入触发器前后,恶意神经元对同一张图像的表示不同,可以根据该现象判断恶意客户端。
2024-01-22 18:24:12
379
原创 READ-2336 FL-Defender: Combating Targeted Attacks in Federated Learning
后门攻击:后门攻击需要配合标签翻转攻击使用,是标签翻转攻击的特殊情况。标签翻转攻击(1)若考虑所有层网络,则从整体上增加了检测攻击的难度,因此需要对模型中的部分参数进行分析;(2)标签翻转攻击将最小化源标签的输出概率,而最大化目标标签的输出概率,从而直接影响了输出神经元的参数。因此,专注分析最后一层梯度比分析所有层更有助于检测有目标攻击;(3)由于恶意客户端和良性客户端都有相同的主任务目标,最后一层网络中可能包含与攻击无关的其他神经元,这使得攻击更难被发现,因此需要去除冗余的的梯度特征。
2024-01-22 18:20:58
416
原创 READ-2335 Toward Cleansing Backdoored Neural Networks in Federated Learning
后门输入会将触发器嵌入到神经网络的后门神经元中,而干净输入则不会使用这些神经元。因此,通过去除那些不常被激活的休眠神经元,可以消除后门攻击。然而,由于服务器无法访问客户端的训练数据,也无法获取干净的数据源来激活神经网络,因此无法通过服务器获取修剪神经元的序列。不过,服务器可以利用客户端来进行检测。
2024-01-22 18:16:10
354
原创 READ-2334 Detecting and mitigating poisoning attacks in federated learning using generative adversar
恶意客户端模型会对特定的输入样本进行错误的分类,并且使用缩放攻击后恶意模型的准确性将变得更低,因此可以通过审计客户端模型的准确性来进行防御。但是,如果辅助数据集中不包含发起攻击的目标样本,则无法体现恶意模型的恶意性,无法用于审计。
2024-01-22 17:00:02
398
原创 READ-2333 FLTrust Byzantine-robust Federated Learning via Trust Bootstrapping
从服务器的角度来看,每个客户端都有可能是恶意的,无法为服务器提供信任根,因此需要由服务器自身引导信任。
2024-01-22 16:56:01
354
原创 READ-2332 CONTRA: Defending Against Poisoning Attacks in Federated Learning
由于局部数据分布的动态性,客户端的局部目标和全局目标的方向可能不会很好地对齐。在有目标投毒攻击中,恶意客户端的目标是将具有特定特征的数据分类到目标类中,所以其更新接近于恶意目标的方向,而不是全局目标的方向,又因为恶意客户端具有相同的中毒目标,因此任意两个恶意更新之间的角度总是小于恶意更新与良性更新的角度、任意两个良性更新之间的角度。
2024-01-22 16:50:34
396
原创 READ-2331 Untargeted Poisoning Attack Detection in Federated Learning via Behavior Attestation
恶意客户端并不会真正训练其本地模型,而是制造更新值。随着通信轮数增加,全局模型逐渐收敛,客户端更新趋近于0,而恶意客户端更新会为了阻碍全局模型收敛而逐渐增加。尽管来自不同客户端的模型更新几乎是相互正交的且方差很低,但对于由同一客户端,跨轮次之间的模型更新将彼此相关性。因此,本地模型更新之间没有随时间表现出相关性的客户端可能被认为是不可靠的。
2024-01-22 16:09:04
411
原创 READ-2330 Defending against Poisoning Backdoor Attacks on Federated Meta-learning
本论文首次提出了对联邦元学习的攻击与防御方式。在攻击过程中,作者发现元学习的适应性并不能很好的抵御后门攻击;在防御过程中,作者使用了匹配网络的方式在而客户端处对噪声进行消除,总而可以与安全聚合兼容。我比较感兴趣的是本文的防御方式:通过注意力机制,加强对正常特征的注意;通过元学习的微调过程,不断学习消除攻击所需要的随机性。本方法对元测试的准确性影响很小,但只能消除部分攻击。
2023-05-25 21:15:38
253
原创 READ-2329 On the Byzantine Robustness of Clustered Federated Learning
本文使用余弦相似度对客户端进行聚类,层层排除恶意客户端。本文的设计受数据分布的影响较大当攻击者进行适应性攻击时,容易出现大范围的假阳,反而导致性能下降需要先验知识:相似度阈值本文实验设置实验指标选的不好:假阴、假阳实验设计不是很好:在不同数据分布程度下的性能检验没有和其他基于聚类的恶意检测进行对比。
2023-05-25 20:57:38
227
2
原创 READ-2328 LoMar: A Local Defense Against Poisoning Attack on Federated Learning
在仔细阅读论文后,还是不能很好的理解本文引入核密度的作用。核密度概念是,通过计算某点的领域中某一目标样本的数量,从而近似在该点上目标样本可能出现的次数。将核密度的概念用到本文中,以每个客户端更新为中心,将与该客户端最近的k个客户端更新作为邻域,计算每个客户端更新的出现次数。即:对于每一个class,计算每个客户端的出现次数,也就是每个客户端对该class的决策贡献程度。之后,LoMar通过对比客户端与其邻近客户端对同一class的贡献程度,将核密度转换为恶意分数。
2023-05-25 20:50:08
272
原创 READ-2327 Manipulating the Byzantine: Optimizing Model Poisoning Attacks and Defenses for FL
对于无目标模型投毒攻击,本文提出了一种调整恶意缩放系数的方式,使得恶意更新兼顾了隐蔽性和攻击性的要求。但是,该攻击方法存在以下问题:需要知道良性客户端更新或者需要知道聚合算法,该攻击假设较强。对于AGR-tailored attacks to Krum,需要发起女巫攻击才行,而且文中假设良性客户端数量多于恶意客户端,那么还是良性客户端占优势?对于投毒攻击的防御,本文提出了一种基于奇异值分解(SVD)的光谱方法来检测和去除异常值,可以有效防御无目标投毒攻击。
2023-05-25 20:33:50
434
原创 READ-2325 Advances and Open Problems in Federated Learning
本章节描述了用户数据的隐私保护问题,主要包括两方面——原始数据的隐私保护和数据计算可信度问题,同时,文章也提出了保护用户数据的方法。本章节分别介绍了完全分布式学习、cross-silo的联邦学习以及拆分学习的应用场景以及各自的挑战、三者之间的区别。本章节主要介绍了联邦学习的应用场景、与分布式学习的区别、生命周期、一般训练过程以及实验注意事项。本章节主要讲述了联邦学习非独立同分布数据的问题、优化方法以及实验中的经验技巧。本章节主要介绍了模型稳健性问题,描述了恶意攻击和非恶意攻击以及它们的防御方式。
2023-05-04 21:38:48
190
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人