[论文笔记] SPECTRAL NORMALIZATION FOR GENERATIVE ADVERSARIAL NETWORKS

最新推荐文章于 2023-03-28 23:37:07 发布
最新推荐文章于 2023-03-28 23:37:07 发布
阅读量3.2k 收藏 21
点赞数 3
分类专栏： 论文笔记 GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26020233/article/details/90448363
版权
本文探讨了Spectral Normalization(SN)在Generative Adversarial Networks(GANs)中的作用，旨在提高Discriminator的稳定性。SN通过对网络层进行归一化，确保Lipschitz连续性，从而限制鉴别器的Lipschitz常数不超过1。介绍了SN的计算方法，对比了SN与其他正则化技术，并提供了PyTorch源码链接。实验证明SN能有效提升GAN的训练稳定性。
摘要由CSDN通过智能技术生成

简介：对 normalization层 进行改进，提出spectral normalization（SN-GAN），以提高Discriminator的训练稳定度；
优点：
1、Lipschitz常数是唯一需要进行调节的超参；
2、实现简单，额外的计算成本很低；

一、背景

原始（2014年）GAN公式，
E x ～ q d a t a [ log ⁡ D ( x ) ] + E x ′ ～ p G [ log ⁡ ( 1 − D ( x ′ ) ) ] E_{x～ q_{data}}[\log{D(x)}]+E_{x^{'}～ p_{G}}[\log{(1-D(x^{'})})] Ex～qdata​​[logD(x)]+Ex′～pG​​[log(1−D(x′))]

一个样本x输入，它可能来自于真实分布，也可能来自于生成器的输出分布。该样本对损失函数的贡献为
q d a t a ( x ) log ⁡ D ( x ) + p G ( x ) log ⁡ ( 1 − D ( x ) ) q_{data}(x)\log{D(x)}+p_{G}(x)\log{(1-D(x)}) qdata​(x)logD(x)+pG​(x)log(1−D(x))

当生成器固定，最优的鉴别器求解如下：
q d a t a ( x ) D ( x ) − p G ( x ) 1 − D ( x ) = 0 \frac{q_{data}(x)}{D(x)}-\frac{p_{G}(x)} {1-D(x)}=0 D(x)qdata​(x)​−1−D(x)pG​(x)​=0

因此（文中直接给了下式，没给推导），
D ( x ) ∗ = q d a t a ( x ) q d a t a ( x ) + p G ( x ) D(x)^*=\frac{q_{data}(x)}{q_{data}(x)+p_{G}(x)} D(x)∗=qdata​

最低0.47元/天 解锁文章
hellopipu
关注
专栏目录
Python-SpectralNormalizationforGenerativeAdversarialNetworks简单Tensorflow实现
08-11
**Python-SpectralNormalization for Generative Adversarial Networks (GANs) 简单Tensorflow实现** 在深度学习领域，生成对抗网络（Generative Adversarial Networks, GANs）是一种非常重要的模型，它通过两个...
谱归一化（Spectral Normalization）的理解
热门推荐
StreamRock的专栏
11-02 3万+
《Spectral Normalization for Generative Adversarial Networks》【1】是Takeru Miyato在2018年2月发表的一篇将谱理论应用于Gan上的文章，在2017年，本文的第3作者Yuichi Yoshida就发表了一篇著名的谱范数正则（Spectral Norm Regularization）的文章【2】，如有兴趣也可参看我的上一篇Blo...
【GAN】Spectral Normalization 谱归一化-原理及实现
lingchen1906的博客
03-28 3169
谱归一化由论文《Spectral Normalization For Generative Adversarial Networks》提出。原生 GAN 的目标函数等价于优化生成数据的分布和真实数据的分布之间的 J-S 散度 (Jensen–Shannon Divergence)。而由于二者间几乎不可能有不可忽略的重叠，所以无论它们相距多远JS散度都是常数log2，最终导致生成器的梯度（近似）为0，梯度消失。也就是说判别器训练越好，生成器梯度消失越严重。
Spectrally Normalized Generative Adversarial Networks (SN-GAN)谱归一化在GAN中的运用。
sun的博客
05-26 1597
《Spectral Normalization for Generative Adversarial Networks》是Takeru Miyato在2018年发表的一篇将谱理论应用于GAN的论文。 SN-GAN将鉴别器中的权重矩阵归一化为对应的谱范数，有助于控制鉴别器的Lipschitz常数。说明了参数矩阵的谱范数对多层神经网络泛化的影响。 利普希茨连续（Lipschitz连续），要求函数图像的曲线上任意两点连线的斜率一致有界，就是任意的斜率都小于同一个常数，这个常数就是Lipschitz常数。Lipsc
05.SNGAN（Spectral Normalization for Generative Adversarial Networks）
weixin_44177594的博客
04-07 1391
参考链接 SNGANintroducemethod频谱范数实现奇异值conclusion introduce 现在我们的目的，是要保证对于每一个位置的 x，梯度的模都小于等于 1。在神经网络中，将梯度的模限制在一个范围内，抽象地来说就是让产生的函数更平滑一些，最常见的做法便是正则化。SNGAN（频谱归一化 GAN）为了让正则化产生更明确地限制，提出了用谱范数标准化神经网络的参数矩阵 W，从而让神经网络的梯度被限制在一个范围内。 method 频谱范数 Lipschitz： 我们的目的就是为了满足Li
论文笔记：Spectral Normalization for Generative Adversarial Networks [ICLR2018 oral]
想变有趣的EMMA
02-25 3123
Spectral Normalization for Generative Adversarial Networks 原文链接：传送门 一篇纯数学类文章，有兴趣的时候再看！ Emma CUHK 2018.02.26
详解GAN的谱归一化（Spectral Normalization）
Paper weekly
02-13 1万+
作者丨尹相楠学校丨里昂中央理工博士在读研究方向丨人脸识别、对抗生成网络本文主要介绍谱归一化这项技术，详细论文参考 Spectral Normalization for G...
Python-Tensorflow实现论文SpectralNormalizationforGenerativeAdversarialNetworksICML2017
08-11
在本文中，我们将深入探讨如何使用Python和Tensorflow框架实现"Spectral Normalization for Generative Adversarial Networks"这篇论文中提出的方法。该论文是2017年国际机器学习会议（ICML）上的研究成果，其核心是...
经典生成对抗网络文章集
09-10
《Spectral Normalization for Generative Adversarial Networks》可能介绍了一种通过谱归一化来稳定GAN训练的技术，这种技术有助于防止判别器过强，保持训练的平衡。 《Unsupervised Representation Learning with...
生成对抗网络原理及代码解析.pdf
01-20
- **Spectral Normalization for Generative Adversarial Networks(SNGAN)**：通过谱归一化技术稳定了训练过程。 - **Feature Matching**：通过匹配生成数据与真实数据的特征统计量来改进模型性能。 总之，生成对抗...
改进生成对抗网络实现红外与可见光图像融合.docx
12-15
其次，在判别器中引入谱归一化模块（Spectral Normalization, SN），增强网络训练过程中的稳定性，使网络更易收敛；最后，损失函数中增加感知损失，提高融合图像与源图像的语义相似性。 红外与可见光图像融合作为...
Generative Adversarial Nets（译）
小时候贼聪明
01-16 3万+
我们提出了一个通过对抗过程估计生成模型的新框架，在新框架中我们同时训练两个模型：一个用来捕获数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，G的训练过程是最大化D产生错误的概率。
SPECTRAL NORMALIZATION FOR GENERATIVE ADVERSARIAL NETWORKS阅读记录
qq_276982536的博客
07-05 442
1，A number of works (Ue-hara et al., 2016; Qi, 2017; Gulrajani et al., 2017) advocate the importance of Lipschitz continuity in assuring the boundedness of statistics 1.1 Ue-hara et al., 2016;Genera...
生成式对抗网络（GAN）-（Generative Adversarial Networks）算法总结（从原始GAN到....目前）
weixin_44474718的博客
05-30 1万+
本文将按时间顺序总结gan的paper（非所有，会挑选个人认为比较重要的），并将参考其它博客（会给出链接），如有侵权，请私信删除。 ???? （2014.06-arXiv）GAN:Generative Adversarial Nets【论文原文】【参考文章】 ????contributions： 开山之作； 原理：生成网络和判别网络的互相对抗。生成网络尽可能生成逼真样本，判别网络则尽可能去判别该样本是真实样本，还是生成的假样本。 采用JS散度作为评判依据。 loss函数（原始gan损失函数的详细解释）：
Coupled Generative Adversarial Networks 阅读笔记
carrierlxksuper的专栏
03-05 8803
首先安利一个blog，https://www.cnblogs.com/wangxiaocvpr/ 这个blog写的内容涵盖计算机视觉与深度学习的很多方面，作者update的很快。 这篇文章（NIPS2016）是基于Generative Adversarial Networks （GAN）而来的，GAN有两个部分，第一部分是生成器Generator，第二部分是判别器Discriminator。G
Generative Adversarial Network (GAN) papers (2018.2.4 更新）
omnispace的博客
11-07 6624
AdversarialNetsPapersThe classic about Generative Adversarial NetworksThe First paper [Generative Adversarial Nets] [Paper][Code](the First paper of GAN)Unclassified [Deep Generative Image Models usin...
【论文笔记】Generative Adversarial Networks
theoreoeater的博客
04-19 4900
论文链接：GenerativeAdversarial Networks        该文提出一种新颖的对抗式生成模型架构，这种框架同时训练两个模型，一个是生成模型G，用来习得数据的真实分布，一个是判别模型D，用来判断一个样本是否是真实样本。G的训练过程就是尽可能地让D犯错误，该网络最后的目标就是让G通过输入的噪声重构出训练数据的分布，并且让D不论是面对真实数据还是假数据的判别概率等于50%。这个...
《DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data》论文笔记
My Caroline的博客
07-04 1724
《DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data》论文笔记
春节期间，你错过了这些开源论文 | Paper + Code 清单
Paper weekly
03-01 924
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。这是 PaperDaily 的第 46 篇文章[ 自然语言处理 ]Nested LSTMs@Synced 推荐#RNN近日，CMU 和蒙特利尔大学联合提出一种新型的多级记忆的 RN
spectral normalization for generative adversarial networks
最新发布
04-06
Spectral Nomalization for Generative Adversarial Networks，是一种用于生成对抗网络的谱规范化技术。它可以解决生成对抗网络中的模式崩溃和模式坍塌问题，从而提高模型的稳定性和生成图像的质量。该技术通过对生成器和判别器的权重矩阵进行谱规范化，可以缓解发生梯度消失或爆炸的情况，以及减少训练时间和提高成果效应。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值