Deep Leakage from Gradients

最新推荐文章于 2023-07-29 17:38:38 发布
最新推荐文章于 2023-07-29 17:38:38 发布
阅读量488 收藏
点赞数
分类专栏： 联邦学习 文章标签： python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42815711/article/details/127878705
版权
Summary
  • 对于分布式学习，特别是相关之前共享梯度的学习，提出了一种攻击方式（DLG）。通过窃取client之间传递的梯度反推出（也是使用机器学习迭代的方式）原始的输入。并在图像分类、Masked Language Model方面取得的不错的成绩。
Method
  • 初始化一个（x,y）。
  • image-20221007162338718
  • image-20221007162409738
  • 上述可能只对输入和标签只有一对的时候，当训练有N和小批次的数据时，修改一下algorithm 1.
  • image-20221007162653932
Experiment

  • Deep Leakage on Image Classification

    • 对于图像标签，我们没有直接优化离散类别值，而是随机初始化一个形状为N × C的向量，其中N为批大小，C为类数，然后将其softmax输出作为单热标签进行优化。（不太理解）

    • 效果，而且比之前GAN的Melis要好些。不同类型的数据集效果也不同。

      image-20221007163137326

  • Deep Leakage on Masked Language Model

    • 与视觉任务(RGB输入是连续的值)不同，语言模型需要将离散的单词预处理为嵌入（不太理解）
    • 效果
      虽然不能完全复现原句，但是大意是完全可以得出的。
Defense
  • 添加噪声，噪声的种类不太重要，重要的是加多少
  • 梯度压缩，压缩超过百分之20有一点效果。、
  • 增大训练数据的Batch
Related Knowledge
  • Masked Language Model
  • GAN Model
  • BERT模型
柿子_@
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Improved-Deep-Leakage-from-Gradients:“改进的梯度深度泄漏”（iDLG）的代码
05-07
改进的深度泄漏 “”（iDLG）的代码。 抽象的 人们普遍认为，共享梯度不会泄漏诸如协作学习和联合学习等分布式学习系统中的私人训练数据。 [1]提出了一种方法，该方法显示了从公开共享的梯度中获得私人训练数据的...
论文阅读：Deep Leakage From Gradients
三金samkam的博客
12-14 1315
论文名字 Deep Leakage From Gradients 来源 顶会 NeurIPS 年份 2019.12 作者 Ligeng Zhu Zhijian Liu Song Han 核心点 主要研究梯度泄露问题，使用比以往方法更强的攻击方法，恢复图像是像素级的，恢复文本是符号级的匹配。提出有效的解决方法是...
006 Deep Leakage from Gradients（便于寻找：梯度泄露）
Uzz_yuzaizai的博客
05-31 1148
梯度的深度泄露 两种联邦学习中的信息泄露（有无中央服务器） 从联邦学习期间共享的梯度可以推断出参与者的训练数据集的什么？ 成员推理：使用预测结果和真相标签来推断记录是否在受害者训练数据集内。 属性推理：能推断出受害者的训练集包含一个具有一定属性的数据点。 模型反转：首先利用模型更新和攻击者自身的训练数据训练GAN模型，然后它使用GAN模型从受害者的更新中生成相似图像。 传统观点上认为：如果不事先了解训练数据，不能完全从梯度中窃取训练数据。 联邦设置中的深
Deep leakage from Gradients论文解析
chen695539389的博客
07-09 3400
Deep leakage from Gradients论文解析 今天来给大家介绍下2019年NIPS上发表的一篇通过梯度进行原始数据恢复的论文。 论文传送门 **问题背景：**现在分布式机器学习和联邦学习中普遍接受的一个做法是将数据梯度进行共享，多方数据通过共享的梯度信息进行联合建模，即在原始数据不出库的前提下进行建模，那么这样引出作者的一个思考：这样的梯度信息是否是安全的呢？我们知道，梯度与标签和样本特征有关，那么意味着梯度其中包含着部分的标签信息和原始信息，所以作者做了这样一个工作，通过神经网络中的梯度
Deep Leakage From Gradients文献阅读及代码重现
qq_43750528的博客
03-04 1701
Deep Leakage from Gradients、iDLG Improved Deep Leakage from Gradients文献阅读解析，DLG、iDLG代码重现解析
ESORICS20-CPL
04-03
LFW_Deep_Leakage_from_Gradients.ipynb：（NIPS2019）“渐变的深层泄漏”中DLG攻击的lfw实现。 LFW_enhanced_random_ASR.ipynb：具有几何初始化的CPL攻击LFW_batch.ipynb：批量CPL攻击LFW128_enhanced_random_ASR....
leakage-in-nanometer-cmos-technologies-2006.pdf
10-15
漏电流是指在CMOS电路中的漏电流，包括gate leakage、subthreshold leakage和junction leakage等。这些漏电流会导致电路的功耗增加，降低电路的可靠性和寿命。 纳米CMOS技术中的漏电流问题可以通过多种方法来解决，...
DATA-LEAKAGE-DETECTION-using-asp.net.zip_data leakage
09-23
本压缩包文件“DATA-LEAKAGE-DETECTION-using-asp.net.zip_data leakage”显然是关于如何在ASP.NET环境中实施数据泄露检测的教程或演示。 数据泄露检测系统的主要目标是预防、检测和应对潜在的数据泄露事件，确保...
复现《Deep Leakage from Gradients》的攻击实验
qq_36300061的博客
06-18 4288
复现《DeepLeakagefromGradients》的攻击实验 DeepLeakagefromGradients 在GitHub上找到一个在pytorch实现《DeepLeakagefromGradients》论文中对CIFAR100数据集攻击的实验，加上了自己的理解 class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() act = nn.Sigmoid self.body = nn.
用MNIST数据集还原Deep leakage from gradients梯度攻击实验
CIT_JEFF的博客
08-14 1066
1、先贴上我的还原代码（Jupter） 本文讲述了如何使用Pytorch（一种深度学习框架）构建一个简单的卷积神经网络， 并使用MNIST数据集（28*28手写数字图片集）进行训练和测试。针对过程中的每个步骤都尽可能的给出了详尽的解释。 MNIST 包括6万张28x28的训练样本，1万张测试样本，很多教程都会对它”下手”几乎成为一个 “典范”，可以说它就是计算机视觉里面的Hello World。所以我们这里也会使用MNIST来进行实战。 # 1 准备工作 ## 导入包 ```python i
图像水平梯度和竖直梯度代码_20行代码发一篇NeurIPS：梯度共享已经不安全了
weixin_39797381的博客
12-05 202
整理 | 夕颜，Jane出品 | AI科技大本营(ID:rgznai100)【导读】12 月 8 日-14 日，NeurIPS 2019 在加拿大温哥华举行，和往常一样，今年大会吸引了数万名专家参会，并展示了计算机领域的最新进展。其中来自 MIT 的一篇论文引起我们的关注，作者声称这篇论文可能是本届代码量最少的论文之一，整篇论文仅涉及 20 行代码，用这 20 行代码，就可以通过共享梯度轻松“偷取...
《Deep Leakage from Gradients》
最新发布
volcan的博客
07-29 301
Deep Leakage from Gradients 论文阅读
【论文阅读】A Novel Attribute Reconstruction Attack in Federated Learning
热门推荐
学渣的博客
02-19 2万+
本文提出了一种 属性重构攻击（Attribute Reconstruction Attack，ARA），利用构建样本产生的更新梯度和受害者模型更新的梯度的cos相似度，在联邦学习场景下具有较大的研究价值。 不同于先前的 模型反演攻击（Model Inversion Attack，MIA），ARA是给定无关属性XothersX_{others}Xothers​和标签YYY，对某一目标属性XsX_{s}Xs​进行推断，而MIA是在某一类大致相似的提前下，确定某一类的所有输入属性Xothers+XsX_{oth.
人工智能安全（二）—攻击
weixin_44714808的博客
08-17 870
1《Deep Leakage from Gradients》 代码地址：https://gitee.com/dugu1076/ai-dlg.git （这份代码是我自己全部加上注解后的，删除了所有多余代码，可直接运行，image下的desk.png是我成功攻击过的图片） 论文主要成果：提出一种优化算法DLG算法，可以在几个迭代中获取训练输入和标签。算法的主要思路是：假设虚拟输入和标签，计算虚拟梯度，优化虚拟梯度与真实梯度之间的距离，通过匹配梯度使得虚拟数据靠近原始数据。 算法具体步骤： 首先选取一张Norm
2021黑盾杯CTF部分WP
qq_45149716的博客
12-05 5030
一、 Signin 通过观察附件得到附件为一个文本 全由01组成 根据以往的经验来是这个应该是是通过PIL库将01转换为像素点来构造二维码 from PIL import Image MAX = 500 pic = Image.new("RGB", (MAX, MAX)) str="1111...1111" #文档太大所以省略了文档内容" i = 0 for y in range(0, MAX): for x in range(0, MAX): if str[i] == '1':
iDLG Improved Deep Leakage from Gradients
weixin_37958272的博客
04-30 2694
iDLG: Improved Deep Leakage from Gradients 人们普遍认为，在分布式学习系统中，如协作学习和联合学习等，共享梯度不会泄露私人训练数据。最近，Zhu等人[1]提出了一种方法，显示了从公开共享的梯度中获得私人训练数据的可能性。在他们的Deep Leakage from Gradient（DLG）方法中，他们在共享梯度的监督下合成了假数据和相应的标签。然而，DLG在收敛和持续发现ground-truth标签方面存在困难。在本文中，我们发现共享梯度肯定会泄露ground-tr
20行代码发一篇NeurIPS：梯度共享已经不安全了
AI科技大本营
12-13 1303
整理 | 夕颜，Jane出品 | AI科技大本营（ID:rgznai100）【导读】12 月 8 日-14 日，NeurIPS 2019 在加拿大温哥华举行，和往常一样，今年大会吸引了数...
Paper阅读：Exploiting Unintended Feature Leakage in Collaborative Learning
qq_31426383的博客
10-15 2755
Paper阅读：Exploiting Unintended Feature Leakage in Collaborative Learning文章概述文章内容：1. introduction 文章概述 协同机器学习和其相关工作例如联邦学习允许多方通过“本地训练数据集，定期更新交换模型”来共同构建一个模型。 作者研究发现，在这之中的更新会泄露一些有关参与者训练数据的unintended inform...
deep leakage from gradients
03-16
深度梯度泄漏（deep leakage from gradients）是指在深度神经网络中，由于反向传播算法的局限性，导致梯度在传递过程中逐渐变小，最终无法有效更新网络参数，从而影响模型的训练效果。这种现象通常会出现在深度网络...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值