SN + WGAN

于 2022-06-22 15:04:22 发布
阅读量346 收藏
点赞数
分类专栏： GAN 文章标签： 人工智能 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/d14665/article/details/125409233
版权
SNGAN结合谱范数（SN）与Wasserstein GAN（WGAN）的尝试探讨。文章指出，尽管SN有助于满足1-Lipschitz条件，但原始SNGAN未采用WGAN损失。作者在实践中发现WGAN+SN组合并不理想，可能是SN不能完全达到1-Lipschitz，或者WGAN在SN约束下效果不佳。这引发了对WGAN真正起作用的原因的思考，是否是W距离本身还是Lipschitz约束更重要。
摘要由CSDN通过智能技术生成

SNGAN是从lipschitz的角度讲故事的

  • 最开始 WGAN 的权重裁剪
  • 到后来 WGAN-GP 的梯度约束
  • 再到 spectral norm

理论上讲，SN + WGAN 应该是一个很优美的结构。但是原始SNGAN论文中，作者使用的是 spectral norm + 标准GAN的 loss，而没有使用WGAN的loss。

然而作者在 github 项目中提到，WGAN + SN 不work（见这里：https://github.com/pfnet-research/sngan_projection/issues/15）。这可能有两点原因：

  • SN 达不到 1-lipschitz 的条件
  • SN 能够满足 1-lipschitz 约束，但是 wgan 在SN的 1-lipschitz 约束下，效果不好。

SN + 原始GAN的效果也不错，是不是能够说明之前关于GAN loss存在饱和区，梯度容易消失的说法就是错误的呢？那么也许WGAN真正work的并不是他的 W 距离，而是对判别器添加的 1-lipschitz 约束。

大指挥官
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
WGAN的成功，可能跟Wasserstein距离没啥关系
Paper weekly
03-30 1609
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络WGAN，即 Wasserstein GAN，算是 GAN 史上一个比较重要的理论突破结果，它将 G...
WGAN-div：默默无闻的WGAN填坑者 | 附开源代码
Paper weekly
11-08 1393
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm今天我们来谈一下 Wasserstein 散度，简称“W 散度”。注意，这跟...
PaperNotes(6)-GAN/DCGAN/WGAN/WGAN-GP/WGAN-SN-网络结构/实验效果
sinat_40624829的博客
10-29 1938
GAN模型网络结构+实验效果演化1.GAN1.1网络结构1.2实验结果2.DCGAN2.1网络结构2.2实验结果3.WGAN3.1网络结构3.2实验结果4.WGAN-GP4.1网络结构4.2实验结果5.WGAN-SN5.1网络结构5.2实验结果小结 1.GAN 文章： https://arxiv.org/pdf/1406.2661.pdf 代码： Pylearn2， theano, https://github.com/goodfeli/adversarial 1.1网络结构 多层感知机器（没有在文章中找到
SNGAN_WGAN_GP_WGAN_DCGAN
Jak的博客
10-07 1717
 https://github.com/MingtaoGuo/DCGAN_WGAN_WGAN-GP_LSGAN_SNGAN_RSGAN_RaSGAN_TensorFlow from PIL import Image import numpy as np import scipy.io as sio import os import tensorflow as tf import matplo...
05.SNGAN（Spectral Normalization for Generative Adversarial Networks）
weixin_44177594的博客
04-07 1390
参考链接 SNGANintroducemethod频谱范数实现奇异值conclusion introduce 现在我们的目的，是要保证对于每一个位置的 x，梯度的模都小于等于 1。在神经网络中，将梯度的模限制在一个范围内，抽象地来说就是让产生的函数更平滑一些，最常见的做法便是正则化。SNGAN（频谱归一化 GAN）为了让正则化产生更明确地限制，提出了用谱范数标准化神经网络的参数矩阵 W，从而让神经网络的梯度被限制在一个范围内。 method 频谱范数 Lipschitz： 我们的目的就是为了满足Li
理解WGAN 和 Spectral Normalization(归一化)
daimashiren的博客
03-09 936
传统的Gan存在的问题 传统的判别器损失 maxD V(D,G)=Ex∼Pr(x)[log D(x)]+Ez∼Pg (x)[log(1−D(x))](1) \hspace{2em}\mathop{max}\limits_{D}\space V(D,G) = \mathbb{E}_{x\sim P_{r}(x)}[log\space D(x)] + \mathbb{E}_{z \sim P_g \space (x)}[log(1-D(x))] \hspace{4em}(1)
SNGAN(频谱归一化GAN)笔记
qq_51715775的博客
07-22 1658
SNGAN(频谱归一化GAN) WGAN虽然性能优越，但是留下一个难以解决的1-Lipschitz问题，SNGAN便是解决该问题的一个优秀方案。 在GAN中，Wasserstein距离拥有更好的数学性质，它处处连续，几乎处处可导且导数不为0，所以我们更多的使用Wasserstein距离。 WGANcritic（判别器）的目标函数为： SNGAN便是一种“严格”地解决了判别器1-Lipshcitz约束的方法。 1 最大特征值（奇异值） 我们从矩阵的特征值、奇异值开始说起。在线性代数中，Ax=b表示对向量x做
WGAN-GPppt详解
07-10
生成式对抗网络，搜集整理了网上关于GAN ,WGAN,汇总详解了WGAN-GP
pytorch-gan-collections:DCGAN，WGAN-GP和SNGAN的PyTorch实施
04-29
SN-GAN 要求 初始化metric模型git submodule update --init 安装python包pip install -U pip setuptools pip install -r requirements.txt 结果 模型 数据集 起始分数 FID 直流电源 CIFAR10 6.04（0.05） 47.90 ...
通俗|令人拍案叫绝的Wasserstein GAN 及代码（WGAN两篇论文的中文详细介绍）
兔清风的博客
11-24 2921
今天第一篇为WGAN理论深入介绍。 在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文Wassertein GAN 却在 Reddit 的 Machine Learning 频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？  要知道自从2014年Ian Goodfellow提出以来，GA
生成对抗网络(DCGAN, LSGAN, WGAN, WGAN-GP, SNGAN, RSGAN)TensorFlow实现
MarTin Guo的博客
07-25 6623
  Paper: DCGAN: Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks WGAN: Wasserstein GAN WGAN-GP:  Improved Training of Wasserstein GANs LSGAN:  Least Sq...
【转】生成对抗网络(DCGAN, LSGAN, WGAN, WGAN-GP, SNGAN, RSGAN)TensorFlow实现
u014546828的博客
04-19 846
生成对抗网络(DCGAN, LSGAN, WGAN, WGAN-GP, SNGAN, RSGAN)TensorFlow实现【转载】 MarTin Guo Paper: DCGAN: Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks WGAN: Wa...
WGAN的训练技巧总结（持续更新）
热门推荐
csdn_elsa的博客
12-29 1万+
生成对抗网络训练心得 作者：阿阿阿阿毛 https://www.jianshu.com/p/aab68eb0f7ed 一、权重 a. 调节Generator loss中GAN loss的权重 G loss和Gan loss在一个尺度上或者G loss比Gan loss大一个尺度。但是千万不能让Gan loss占主导地位, 这样整个网络权重会被带偏。 二、训练次数 b. 调节Generator和...
WGAN、WGAN-GP、BigGAN
yfy1127yfy的博客
04-28 1359
一、WGAN概述 WGAN论文地址：https://arxiv.org/abs/1701.07875 在这篇论文中，作者研究了不同的测量方法，来描述模型生成样本和证实样本之间分布差距，或者说，不同的散度定义，在对比之后，认为EM是比较适用于GAN的，然后对EM定义了优化方法，文章重点如下： 第二节，用综合利理论分析，对比了EM（Earth Mover）距离，与之前流行的概率距离（log(p)...
【GANs学习笔记】（十）SNGAN
a312863063的博客
10-31 8118
7. SNGAN 7.1 SNGAN设计思路        现在我们的目的，是要保证对于每一个位置的x，梯度的模都小于等于1。在神经网络中，将梯度的模限制在一个范围内，抽象地来说就是让产生的函数更平滑一些，最常见的做法便是正则化。SNGAN（频谱归一化GA
【GAN优化】详解对偶与WGAN
hacker_long的专栏
06-26 789
越学习越发现自己知之甚少，道阻且长，还是认真看下这篇文章，好好琢磨琢磨GAN吧。今天将和大家一起学习在GAN界占有重要位置的WGAN，它提出了一种新的距离度量，较之前的f...
wgan pytorch,pyvision, py-faster-rcnn等的安装使用
weixin_30708329的博客
03-10 84
因为最近在读gan的相关工作，wgan的工作不得不赞。于是直接去跑了一下wgan的代码。 原作者的wgan是在lsun上测试的，而且是基于pytorch和pyvision的，于是要装，但是由于我们一直用的是python 2.7,所以无法从WGAN的页面上跳到pytorch的官方页面下载安装，需要安装github上的版本，这个是不需要python3.5的。重新装的系统，就安装了tenso...
【GAN优化】详解SNGAN(频谱归一化GAN)
hacker_long的专栏
07-03 4898
今天将和大家一起学习具有很高知名度的SNGAN。之前提出的WGAN虽然性能优越，但是留下一个难以解决的1-Lipschitz问题，SNGAN便是解决该问题的一个优秀方案。...
（七）SN-GAN论文笔记与实战
SCU-JJkinging的博客
08-04 3285
（七）SN-GAN论文笔记与实战一、论文笔记 一、论文笔记 在WGAN-GP中使用gradient penalty 的方法来限制判别器，但这种放法只能对生成数据分布与真实分布之间的分布空间的数据做梯度惩罚，无法对整个空间的数据做惩罚。这会导致随着训练的进行，生成数据分布与真实数据分布之间的空间会逐渐变化，从而导致gradient penalty 正则化方式不稳定。此外，WGAN-GP涉及比较多的运算，所以训练WGAN-GP的网络也比较耗时。 SN-GAN提出使用Spectral Normalization(
WGAN matlab
最新发布
09-19
WGAN（Wasserstein GAN）是一种生成对抗网络的变体，旨在改善传统GAN的训练稳定性和生成样本质量。WGAN使用了一个名为Wasserstein距离的新的损失函数，它对生成器和判别器之间的距离进行度量，从而更准确地衡量生成样本的质量。 对于WGAN的实现，你可以使用Matlab编程语言。在Matlab中，你可以通过定义生成器和判别器的网络结构，并使用Wasserstein距离作为损失函数来训练模型。你可以使用Matlab的深度学习工具箱来构建和训练生成器和判别器。 以下是一个简单的示例代码，展示了如何在Matlab中实现WGAN： ```matlab % 定义生成器和判别器网络结构 generator = [ fullyConnectedLayer(256) reluLayer fullyConnectedLayer(512) reluLayer fullyConnectedLayer(784) tanhLayer ]; discriminator = [ fullyConnectedLayer(512) reluLayer fullyConnectedLayer(256) reluLayer fullyConnectedLayer(1) ]; % 定义Wasserstein距离损失函数 loss = @(real, fake) mean(real) - mean(fake); % 定义训练选项 options = trainingOptions('adam', ... 'MaxEpochs', 100, ... 'MiniBatchSize', 64, ... 'Plots', 'training-progress'); % 训练WGAN wgan = trainNetwork(data, [], generator, discriminator, loss, options); % 生成样本 noise = randn(100, 100); generatedSamples = predict(generator, noise); ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大指挥官

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值