READ-2204 FL-WBC Enhancing Robustness against Model Poisoning Attacks in Federated Learning

已于 2023-01-06 01:07:19 修改
阅读量575 收藏 1
点赞数 1
分类专栏： FL Security 文章标签： 人工智能
于 2023-01-06 01:06:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51638853/article/details/128572476
版权

READ-2204 FL-WBC Enhancing Robustness against Model Poisoning Attacks in Federated Learning from a Client Perspective

论文名称FL-WBC Enhancing Robustness against Model Poisoning Attacks in Federated Learning from a Client Perspective
作者Jingwei Sun, Ang Li, Louis DiValentin, Amin Hassanzadeh, Yiran Chen, Hai Li
来源NeurIPS 2021
领域Machine Learning – Federal learning – Against Poisoning Attacks
问题1.传统的基于服务器的健壮聚合的方法只能避免模型在聚合过程中受到投毒攻击，但当攻击性极强时却无法保证全局模型的鲁棒性 2.一旦全局模型受污染，即使接下来的通信中不存在攻击，之前攻击产生的影响也会继续保留
方法使用定量估计器AEP估算投毒攻击对全局模型的影响以及推断FL在不同时刻对模型中毒攻击所暴露的敏感性信息；使用FL-WBC减轻模型所受的污染：使用基于客户端的防御方法，与基于服务器的防御方法互补
创新提出基于客户端的防御方法

阅读记录

一、攻击模型
  1. 攻击方式：有目标的模型中毒攻击
  2. 恶意数据集：与良性数据集分布一致但是拥有恶意数据标签，且所有客户端的恶意数据集一样
  3. 知识：恶意客户端拥有与良心客户端一样的知识
二、检测投毒攻击的影响

1.正常训练过程
（1）服务器更新目标
1
（2）良性客户端的本地更新目标
2
（3）恶意客户端的本地更新目标：存在恶意更新目标
3
（4）服务器聚合方法
4
2.评估攻击对模型参数的影响
（1）无污染的聚合
没有任何攻击情况下的参数聚合，即该模型在第t轮通信及其之前的通信均没有被污染过
5
（2）受攻击后模型的偏差
6
①公式：无污染模型权重-存在恶意客户端的模型更新
②含义：恶意设备的攻击累积到第t轮时，对全局模型参数的改变。
③根据该公式的测量可以看出：一个全局模型受到一轮攻击后，攻击产生的影响会维持多个通信轮
（3）攻击对模型的影响
7
①含义：在一轮攻击后，下一轮攻击前，正常通信时的AEP受之前攻击影响的关系
②影响因素：若H的值与受攻击时的AEP强相关，那么攻击的影响将一直停留在全局模型中，之后正常通信时的AEP与受最近一次攻击时的APE相似
③攻击的影响停留在全局模型的原因：H的核心为受攻击的AEP，当攻击性强时H=0
④传统基于服务器的健壮性聚合无效的原因：在全局模型中，AEP的传递性由H决定，而服务器无法访问H，因此需要从客户端的角度消除受污染的全局模型的影响，以增强FL的健壮性

三、FL-WBC
  1. 良性客户端的目标
    ①保持良性客户端任务的性能，使得良性客户端的本地loss最小
    ②为了防止AEP被隐藏在良性客户端的Hessian矩阵中，需要扰动H的核心
  2. 扰动H的原理
    由于H维度较高，从计算的角度上看直接扰动是无法实现的。而H的本质是损失函数的二阶偏导，其对角线是每轮通信的梯度变化，且H中60%的元素是0。因此在H高度稀疏的情况下，向H对角线的少数维度加入噪声，将实现有效扰动。
    3.客户端模型更新
    （1）良性客户端首先利用正常数据集和受污染的全局模型进行正常的更新
    8
    （2）添加扰动
    9
    ①γ：与模型同等大小的矩阵，矩阵元素可以随意设置。元素越随机，攻击者越难以攻击。本文设置为均值为0的拉普拉斯噪声。
    ②M：在第t轮通信中，对于客户端k训练到第i个epoch时的二进制掩码，寻找H对角线上的少量元素进行扰动
    10
    （3）计算经过扰动的梯度
    11
    τ：经过扰动后的更新
    （4）计算经过扰动的模型更新
    12
    4.实现过程
    13

实验结果

在恶意数据集仅有一张图片的情况下检验FL-WBC的有效性

  1. 在IID/非IID设置下，对FL-WBC与健壮性聚合防御的错误分类置信度的比较
    14
  • FL-WBC的防御可以更有效地减轻模型投毒攻击的影响
  • 在本文的攻击设置下，健壮的聚合（CMA、CTMA）无法减轻模型投毒攻击的影响
  1. 在IID/非IID设置下，对FL-WBC和DP的良性精度和攻击缓解回合的比较
    15
  • 在牺牲小于5%的良性准确性的情况下，FL-WBC可以分别在IID设置的1个通信轮和非IID设置在5个通信轮内减轻模型中毒攻击对全局模型的影响。然而，CDP和LDP无法在IID的5轮内和非IID设置的10轮内减轻攻击效果
  • 对于防御变得更具挑战性的非IID设置，FL-WBC仍然可以在2轮内以小于15%的良性精度下降来缓解攻击效果，但DP无法在3轮内以低于30%的良性精度降低来进行有效缓解，导致良性任务的效用不可接受
  • FL-WBC优于CDP和LDP的原因是：FL-WBC只向持久AEP所在的参数空间注入扰动，而不是像DP方法那样扰动所有参数。因此，FL-WBC可以以较少的精度下降实现更好的鲁棒性
  • 对non-IID设置下的防御比IID设置更难的原因是：在non-IID的设置下，仅持有少数类别的数据的客户端仅训练全局模型的部分参数，导致Hessian矩阵更加稀疏，更可能具有更高维度的内核

恶意数据集有多张图片的情况下检验FL-WBC的有效性

  1. 评估防御的有效性：攻击的影响轮次
    16
  • 有多个恶意图像的防御比只有一个图像时的防御更容易：与单个恶意图像的AEP相比，多个恶意图像的AFP需要更大的参数空间
  • 尽管存在多个恶意图像时，FL-WBC最终可以缓解攻击的影响，但无论对于IID和非IID设置，鲁棒聚合均不能保证在5个通信回合内缓解攻击的影响
  1. 在IID/非IID设置下，对FL-WBC和DP的良性精度和攻击缓解回合的比较
    17
  • FL-WBC可以保证在一个回合内减轻攻击影响，IID设置和非IID设置的良性精度分别低于3%和10%。
  • DP方法导致超过9%的良性精度下降，以分别实现IID设置和非IID设置的相同鲁棒性。
  • FL-WBC在防御模型中毒攻击方面显著优于DP方法。

鲁棒性聚合与FL-WBC的集成

18

  • 只有CMA不能减轻攻击效果
  • 通过同时应用CMA和FL-WBC，在IID设置下的1个通信回合和非IID设置的5个通信回合内，攻击效果得到缓解
  • FL-WBC的防御是对基于服务器的鲁棒性聚合的补充，并进一步增强了FL在极强攻击下对模型中毒攻击的鲁棒性

总结

已有研究都是从服务器聚合的角度对模型投毒攻击进行防御。而本文经公式推导后发现，投毒攻击对全局模型影响持续停留的原因主要在于，客户端更新时的Hessian矩阵易受攻击影响。因此，本文从客户端的角度出发，对Hessian矩阵中的对角线少部分维度进行扰动，从而有效的缓解了攻击对后续通信轮次的影响

VivienneLuo
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
干货！FLDetector：通过检测恶意用户防御联邦学习中的模型污染攻击
AITIME_HY的博客
07-18 3008
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！联邦学习容易受到模型污染攻击：恶意用户可以通过改变上传给中心服务器的模型梯度的方式破坏模型的训练。现有的防御主要依赖于拜占庭鲁棒的方法，可以在少量恶意用户的情况下训练一个好的模型。然而在有较多恶意用户的情况下训练一个好的模型仍然比较困难。我们的FLDetecor可以通过检测并剔除恶意节点的方式解决上述问题。FLDe...
docker-sphinxsearch:Sphinx搜索引擎的Docker映像
05-09
docker-sphinxsearch Docker映像docker pull macbre/sphinxsearch用法示例您可以在docker-compose -powered应用中使用此图像： services : sphinx : image : macbre/sphinxsearch:3.3.1 ports : - " 127.0.0.1:36307...
信息隐藏|MBRS：Enhancing Robustness of DNN-based Watermarking by Mini-Batch of Real and Simulated JPEG
qq_44654715的博客
03-26 674
因此，即使编码器没有根据解码损失进行更新，编码器仍会以前一个迷你批次的势头进行更新，从而确保方向的正确性。左下图显示提出的两阶段可分离式真实 JPEG 压缩框架（TSR），其中第一阶段编码器和解码器在无噪声的情况下共同训练，第二阶段解码器在真实 JPEG 噪声的情况下单独训练。具体的说，（1）对于不同的小批量，我们随机选择真实JPEG、模拟JPEG和无噪声层中的一个作为噪声层。：传统的编码器-噪声层-解码器不能很好的确保JPEG压缩的鲁棒性，JPEG是非差分(不可微)的且是图像处理不可避免的曹组。
对抗样本方向（Adversarial Examples）2018-2020年最新论文调研
huitailangyz的博客
06-15 1万+
调研范围 2018NIPS、2019NIPS、2018ECCV、2019ICCV、2019CVPR、2020CVPR、2019ICML、2019ICLR、2020ICLR 2018NIPS Contamination Attacks and Mitigation in Multi-Party Machine Learning（防御） 作者：Jamie Hayes(Univeristy College London) Olga Ohrimenko(Microsoft Research) 摘要：Machine
READ-2205 SparseFed Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
m0_51638853的博客
01-06 509
本文利用“恶意客户端的梯度更新方向与良性客户端的更新方向会存在差异”的思想，使用客户端级别梯度裁剪和稀疏更新的方法，限制模型投毒攻击对模型的影响如果从FL-WBC所提出的观点来说，我认为本文全局模型聚合后的筛选top-k参数的操作可以放到客户端进行，类似于对本地模型进行定向的dropout操作，客户端只需将评估后有用的top-k参数发送到服务器聚合。
基于联邦学习中毒攻击的防御策略
m0_56222998的博客
07-04 2125
基于联邦学习中毒攻击的防御策略
【FL攻防综述】Privacy and Robustness in Federated Learning: Attacks and Defenses
热门推荐
学渣的博客
04-15 1万+
原文标题：Privacy and Robustness in Federated Learning: Attacks and Defenses 本文对联邦学习的攻击防御、隐私性和鲁棒性做了一个全面的调研。 除此以外，本文还提供了以下素材，方便写论文的时候进行参考： HFL和VFL； 同构 Homogeneous Architectures 两种主流 FL 算法：FedSGD 和 FedAvg； 异构 Heterogeneous Architectures 主流方法： FL 面临的两种威胁； 联邦学习面临的几
AAAI2021联邦学习论文集
夏栀的博客
02-09 2330
目前，已经开放了AAAI2021的Accept Paper List， 本文精选了14篇**联邦学习（Federated Learning）**的入选论文，分类如下： 隐私保护（Private Protection） 278: Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating Qingsong Zhang, Bin Gu, Cheng Deng, Heng Huang 4838: FLAME: Di.
开发技术-硬件-1假单胞菌属WBC-3菌株4-硝基苯酚代谢途径中关键蛋白PnpB和PnpE结构和功能的研究　
04-09
开发技术-硬件
word排版--整页剪切.docx
01-17
* WBC ×109L， * ANC ×109L， * Hb g/L， * PLT ×109L （5）肝功能： * ALT u/L * AST u/L * TBIL umol/L （6）维持治疗开始时间： * / / (年/月/日) 3. 返院检查与治疗时间安排 预期返院检查时间安排，如...
beerfest-winners-json:JSON的GABF和WBC获奖者
05-25
啤酒节JSON 这是Great American Beer Fest（GABF）获奖者和World Beer Cup（WBC）获奖者的数据集。 一探究竟 数据来自 设置 ...mongoimport -d beer-fest -c cities --type ...php wbc-update.php # Mongo import php
wbc-1
03-09
wbc-1
PoisonGAN: Generative Poisoning Attacks Against Federated Learning in Edge Computing Systems 阅读报告
mental的博客
12-05 1664
生成中毒数据的算法： 输入：训练数据DtrainD_{train}Dtrain​,全局模型GtG_tGt​,噪声样本ZnoiseZ_{noise}Znoise​，标签YYY。 输出：噪声数据DnoiseD_{noise}Dnoise​ Step1：初始化鉴别器D和生成器G。 Step2：循环t次，t为全局模型更新的次数。 Step3：把噪声样本中的数据输入到生成器G中生成xfake，然后把xfakex_{fake}，然后把x_{fake}xfake​，然后把xfake​发送到D。 Step4：如果xfak.
READ-2203 FLDetector: Defending Federated Learning Against Model Poisoning Attacks via Detecting Mal
m0_51638853的博客
01-06 1252
针对中毒攻击，本文提出了FLDetection的防御方案，是对拜占庭健壮的联邦学习的加强。文章通过无监督学习寻找恶意客户端，去除恶意客户端后重新进行学习。从本文的实验结果上看，虽然文章可以很好的去除恶意客户端，但是也带走了部分良性客户端，这可能是由于在聚类过程中，FLDetection仅使用了预测更新和实际更新的距离作为聚类标准，无法较好的区分恶意客户端和良性客户端的特征。
005 Threats to Federated Learning（便于寻找：攻击模型）
Uzz_yuzaizai的博客
05-31 279
传统的集中式机器学习无法支持这种无处不在的部署和应用，这是由于基础设施的缺陷，如有限的通信带宽、间歇性的网络连接、严格的网络约束。 分类：水平（HFL）、垂直（VFL）、迁移（FTL） 水平联邦学习可以分为商业（H2B）和消费者（H2C） H2B参与者通常很少，可以经常被选择在联邦学习中被培训，具有显著的计算能力和复杂的技术能力。 H2C有数千甚至数百万的潜在参与者，在每一轮训练中，只选择了其中一个子集。因为他们的数据集往往很小，所以参与者被反复选中参加联邦学习训练的概率很低。通常...
[阅读笔记] 联邦学习攻防综述 An Overview of Federated Deep Learning Privacy Attacks and Defensive Strategies
有关我的科研的足迹、算法竞赛的日子、生活记录。
01-06 2514
本文提供了一个目前来说比较完善的联邦学习攻防相关的综述性文章。 本文对攻击方法、防御方法进行分类整理。 联邦学习目前不能被应用到市场的一个原因就在于我们并不能确保联邦学习的安全性，在未来研究联邦学习工作上不可避免地要引用本文及本文延伸的文献资料。
基于增强形态学滤波的旋转机械故障诊断方法（MATLAB）
weixin_39402231的博客
06-12 950
提出一种基于增强形态学滤波的旋转机械故障诊断方法，该方法根据振动信号的固有特性从而自适应地确定相关参数，有效改进了故障特征的提取计算能力和计算效率.
从GAN到WGAN（02/2）
最新发布
gongdiwudu的专栏
06-14 1382
生成对抗网络 （GAN） 在许多生成任务中显示出巨大的效果，以复制现实世界的丰富内容，如图像、人类语言和音乐。它的灵感来自博弈论：两个模型，一个生成器和一个批评家，在相互竞争的同时使彼此更强大。然而，训练GAN模型是相当具有挑战性的，因为人们面临着训练不稳定或收敛失败等问题。在这里，我想解释一下生成对抗网络框架背后的数学原理，为什么很难训练，最后介绍一个旨在解决训练难点的GAN修改版本。
景芯SoC A72的时钟树分析
u011075954的专栏
06-13 1030
innovus的ctslog中的Clock DAG信息可以报出来CTS主要运行步骤的关键信息，比如clustering，balancing做完后的clock tree的长度，clock tree上所用的buffer、inverter，icg cell数量，clock skew等信息。可以看到cell、sink的counts，也可以看到BUF、ICG的数量，接下来我们来看看景芯SoC A72 TOP的CLOCK ID和BUF个数的变化吧。先看下景芯SoC A72项目的cts latency变化过程。
cheetah wbc
08-04
Cheetah WBC是指猎豹白细胞计数（White Blood Cell Count）。白细胞是人和动物体内的一种重要的免疫细胞，主要起到抵抗外界病原体和维持机体免疫平衡的作用。 猎豹是世界上奔跑速度最快的陆地动物，但它们的白细胞计数相对较低。这是因为猎豹在进化过程中为了追求速度和敏捷性，牺牲了一些免疫功能。 一般而言，高白细胞计数是机体对外界威胁的一种生理反应，比如感染、炎症、应激等都可能导致白细胞计数的增加。而猎豹的白细胞计数不高，可能与其在自然环境中的独特生存方式有关。猎豹靠速度捕食，而非依赖免疫系统，因此相对较低的白细胞计数在其生存和繁衍方面可能更具有适应性。 然而，猎豹的免疫系统存在一定的弱点。由于其白细胞计数相对较低，猎豹在抵抗感染和疾病方面会比其他动物更加脆弱。这也解释了为什么猎豹容易受到疾病的威胁，并且在人类的活动干扰下，其种群数量正逐渐减少的原因。 因此，在保护猎豹的过程中，需要重视其免疫系统的特点和脆弱性，并采取措施加强猎豹的免疫功能，以提高其抵抗疾病的能力，确保猎豹种群的健康和生存。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值