论文阅读：GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially Private Generators

最新推荐文章于 2022-05-17 11:26:40 发布
最新推荐文章于 2022-05-17 11:26:40 发布
阅读量506 收藏 1
点赞数 1
分类专栏： 论文阅读 文章标签： 差分隐私 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39715243/article/details/119885943
版权

论文名字

GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially Private Generators

来源

NeuralIPS 2020

年份

2020

作者

核心点

提出一种自适应调整DP-SGD中所需的gradient-norm裁切方法。

阅读日期

2021.8.23

影响因子

页数

引用数

引用

内容总结

文章主要解决的问题及解决方案：

为解决DP-SGD中手动调整gradient-norm范围的问题，提出一个自适应调整gradient-norm的方法。

文章的主要工作：

1、文章前提是在GAN网络中。

2、使用Wasserstein distance作为GAN的目标函数时，可以得到discriminator的一个Lipschitz property，而Lipschitz property可用于对梯度二范数进行估计。因此梯度裁剪的clipping bound就不需要通过手动选择，而是可以直接使用这个理论上的估值。

三金samkam
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
pytorch-wgan:DCGAN，WGAN-CP，WGAN-GP的Pytorch实现
05-04
DCGAN（深度卷积GAN） WGAN-CP（使用重量修剪的Wasserstein GAN） WGAN-GP（使用梯度罚分的Wasserstein GAN）依存关系突出的软件包是： 麻木scikit学习张量流2.0 pytorch 1.6.0 火炬视觉0.7.0 要快速轻松地安装所有...
DCGAN-LSGAN-WGAN-GP-DRAGAN-Tensorflow-2：DCGAN LSGAN WGAN-GP DRAGAN Tensorflow 2
02-06
建议 ... WGAN-GP 德拉甘 名人 DCGAN LSGAN WGAN-GP 德拉甘 日本动漫 WGAN-GP 德拉甘 用法 环境 Python 3.6 TensorFlow 2.2，TensorFlow插件0.10.0 OpenCV，scikit映像，tqdm，oyaml 我们建议
Differentially Private Learning with Adaptive Clipping
daxuan1881的博客
05-17 781
motivation：这篇文章是在模型训练阶段添加满足DP的噪声从而达到隐私保护的目的，在之前读的论文中，不同的数据集大小，优化器，激活函数的不同都会影响整个模型的性能。看的比较多的就是在裁剪阈值C上进行优化，过大过小都不利于模型训练，所以需要找一个合适的阈值C。 在联邦学习(FL)设置中，使用用户级差分隐私(例如DP联邦平均)训练神经网络的现有方法涉及到通过将每个用户的模型更新裁剪为某个常数值来限制其贡献。 method：基于这样的前提，文章提出了一种分位数的思想，用分位数去找一个合适的裁剪临界值。左
[转载]--令人拍案叫绝的Wasserstein GAN
supercloud的专栏
02-07 6815
文章转载自： https://zhuanlan.zhihu.com/p/25071913 令人拍案叫绝的Wasserstein GAN 郑华滨 · 2 天前 在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《Wassertein GAN》却在Reddit的Machine Learning频道火了，连Goodfellow
WGAN学习和总结
csdn_elsa的博客
12-27 1517
参考： 令人拍案叫绝的Wasserstein GAN https://www.leiphone.com/news/201702/EU12GVIe2pNGtgEk.html?viewType=weixin Wasserstein距离 和 Lipschitz连续 https://www.cnblogs.com/wt869054461/p/7155777.html WGAN最新进展：从weight cl...
WGAN代码解读及实验总结
CloudCver
07-01 6883
本文总结WGAN的代码解读及实验总结。给出了实验结果
一个比WGAN更优秀的模型(WGAN-GP)
机器学习
05-29 3545
WGAN-GP (improved wgan) paper GitHub WGAN-GP是WGAN之后的改进版，主要还是改进了连续性限制的条件，因为，作者也发现将权重剪切到一定范围之后，比如剪切到[-0.01,+0.01]后，发生了这样的情况，发现大多数的权重都在-0.01 和0.01上，这就意味了网络的大部分权重只有两个可能数，对于深度神经网络来说不能充分发挥深度神经网络的拟合能力，简...
2020年6月100篇最新GAN论文汇总
idol24的博客
07-01 2489
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！戳我，查看GAN的系列专辑~！据不完全统计，GAN在CVPR2020上超115篇之多；其中，可...
pytorch-gan-collections:DCGAN，WGAN-GP和SNGAN的PyTorch实施
04-29
WGAN-GP SN-GAN 要求 初始化metric模型git submodule update --init 安装python包pip install -U pip setuptools pip install -r requirements.txt 结果 模型 数据集 起始分数 FID 直流电源 CIFAR10 6.04（0.05...
WGAN-GP-tensorflow:WGAN-GP张量流实现
05-14
WGAN-GP-张量流该存储库是用于MNIST，CIFAR-10和ImageNet64的的Tensorflow实现。 除每行的第一张图像外，README.md中的所有样本均由神经网络生成。安装先决条件python 3.5、3.6或3.7 python3-tk Ubuntu / Debian /等...
Vessel-wgan-pytorch:用生成的对抗网络实现《眼底镜中的视网膜血管分割》
05-15
模型训练python train.py如何使用依存关系此代码取决于以下库： Python 3.6 火炬皮尔结构体 vessel gan│├── eyedata # drive data│ ├── gycutils # my utils for data augmentation│ ├── Criterion.p
论文阅读：Deep Learning with Differential Privacy
三金samkam的博客
01-25 4967
论文名字 Deep Learning with Differential Privacy 来源 会议 23rd ACM （CCS2016） 年份 2016.10 作者 Martín Abadi, Andy Chu, Ian Goodfellow, H. Brendan McMahan, Ilya Mironov, Kunal T alwar, Li Zh...
论文阅读：Deep Leakage From Gradients
三金samkam的博客
12-18 3089
论文名字 Deep Leakage From Gradients 来源 顶会 NeurIPS 年份 2019.12 作者 Ligeng Zhu Zhijian Liu Song Han 核心点 主要研究梯度泄露问题，使用比以往方法更强的攻击方法，恢复图像是像素级的，恢复文本是符号级的匹配。提出有效的解决方法是...
论文阅读：LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
三金samkam的博客
12-04 2075
论文名字 LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy 来源 期刊 arXiv:2007.15789v1 预印本。审查中。 年份 2020.7 作者 Lichao Sun, Jianwei Qian, Xun Chen...
论文阅读：Fixation Prediction for 360° Video Streaming in Head-Mounted Virtual Reality
三金samkam的博客
10-13 1829
论文名字 Fixation Prediction for 360° Video Streaming in Head-Mounted Virtual Reality 来源 会议 Proceedings of NOSSDA V’17, Taipei, Taiwan 年份 2017.6 作者 Fan Ching-Ling,Lee Jean,Lo Wen-Chi...
第一次工作进展报告（论文阅读：A Survey on Adaptive 360°Video Streaming: Solutions, Challenges and Opportunities）
三金samkam的博客
10-16 1768
第一次工作进展报告 随着沉浸式虚拟现实（VR）技术的发展，360°视频越来越多地被使用，然而，与传统的视频内容传输相比，其具有更高的带宽和更低的延迟要求，如何传输高分辨率低时延的视频内容是虚拟现实技术发展的关键性问题。 在“A Survey on Adaptive 360°Video Streaming: Solutions, Challenges and Opportunities...
论文阅读：Personalized Federated Learning with Moreau Envelopes
三金samkam的博客
05-30 1656
论文名字 Personalized Federated Learning with Moreau Envelopes 来源 年份 2021.3.3 作者 Canh T. Dinh, Nguyen H. Tran, Tuan Dung Nguyen 核心点 个性化联邦学习算法，pFedMe 阅读日期 ...
论文阅读：SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning
三金samkam的博客
03-27 1466
论文名字 SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning 来源 年份 2020 作者 核心点 解决联邦学习在数据异构（non-iid）中的“客户漂移（client-drift）”现象 阅读日期 ...
论文阅读:Personalized Federated Learning:A Meta-Learning Approac
三金samkam的博客
06-02 1358
论文名字 Personalized Federated Learning: A Meta-Learning Approach 来源 年份 2020.10.23 作者 Alireza Fallah, Aryan Mokhtari, Asuman Ozdaglar 核心点 使用meta learning实现联邦学习的个性化（差异...
WGAN-div：Wasserstein散度在GAN优化中的新视角
这篇论文不仅贡献了一种新的、无需Lipschitz约束的Wasserstein散度计算方法，而且还提出了一种利用这种方法的稳定训练策略——WGAN-div。这些进展为解决GANs训练的稳定性和效果问题提供了新的视角，有望推动生成对抗...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三金samkam

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值