03、WGAN

最新推荐文章于 2021-04-07 19:07:11 发布
最新推荐文章于 2021-04-07 19:07:11 发布
阅读量220 收藏 1
点赞数
分类专栏： GAN 文章标签： 算法 网络 机器学习 深度学习 GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/115398792
版权

WGAN

GAN

基础思想

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

WGAN

解决的问题：

1.彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度

2.基本解决了collapse mode的问题，确保了生成样本的多样性

3.训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程，这个数值越小代表GAN训练得越好，代表生成器产生的图像质量越高（如题图所示）

4.以上一切好处不需要精心设计的网络架构，最简单的多层全连接网络就可以做到

改进的地方：

  1. 判别器最后一层去掉sigmoid
  2. 生成器和判别器的loss不取log
  3. 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c
  4. 不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行

原本的GAN：
在这里插入图片描述
WGAN算法：
在这里插入图片描述

Wasserstein distance

在这里插入图片描述

在这里插入图片描述
KL散度和JS散度是突变的，要么最大要么最小，Wasserstein距离却是平滑的，如果我们要用梯度下降法优化\theta这个参数，前两者根本提供不了梯度，Wasserstein距离却可以。类似地，在高维空间中如果两个分布不重叠或者重叠部分可忽略，则KL和JS既反映不了远近，也提供不了梯度，但是Wasserstein却可以提供有意义的梯度。

WGAN with Wassertein

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小葵向前冲
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[GAN学习笔记] 基础GAN（三）——WGAN
m0_55905751的博客
03-05 1243
WGAN介绍ppt
10-07
生成式对抗网络，搜集整理了网上关于GAN ,WGAN,汇总详解了WGAN-GP
WGAN
热门推荐
简单记录生活、学习
04-01 1万+
WGAN相比原始GAN的算法实现流程却只改了四点： 判别器最后一层去掉sigmoid 生成器和判别器的loss不取log 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c 不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行 ...
WGAN学习心得
这个月亮不太亮的博客
09-03 719
参考资料：令人拍案叫绝的Wasserstein GAN - 郑华滨 1.原始GAN问题：梯度消失： 根据原始GAN定义的判别器loss，我们可以得到最优判别器的形式；而在最优判别器的下，我们可以把原始GAN定义的生成器loss等价变换为最小化真实分布与生成分布之间的JS散度。我们越训练判别器，它就越接近最优，最小化生成器的loss也就会越近似于最小化和之间的JS散度。 但是真实分布和生成分布可能没...
GAN——ModeCollapse
LiuSpark
05-21 1万+
ModeCollapse
渐入佳境__距离生成对抗网络（WGAN）（六）
散修炼丹师手记
04-17 2268
简介 自从2014年Ian Goodfellow提出以来，GAN就存在着训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题。从那时起，很多论文都在尝试解决，但是效果不尽人意，比如最有名的一个改进DCGAN依靠的是对判别器和生成器的架构进行实验枚举，最终找到一组比较好的网络架构设置，但是实际上是治标不治本，没有彻底解决问题。于是WGAN的作者Martin Arjovsky在...
improved_wgan_wgan_
09-29
标题中的"improved_wgan_wgan_"暗示了这是一个关于改进版 Wasserstein GAN（Wasserstein Generative Adversarial Network，简称WGAN）的项目。WGAN是一种深度学习中的生成模型，它通过优化生成器和判别器之间的 ...
生成对抗网络wgan.py
05-24
生成对抗网络中WGAN的代码，WGAN彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度 基本解决了collapse mode的问题，确保了生成样本的多样性 训练过程中终于有一个像交叉熵、准确率这样的数值...
生成对抗网络wgan_gp.py
05-24
WGAN-GP纯粹是为了满足WGAN中的李普西斯条件，WGAN自己的满足方式是gradient clipping，但是这样的话WGAN的大部分weight会是正负0.01，需要新的满足李普西斯条件的方法，这就是motivation；
wgan_wgan代码_wgan源代码_wgan网络代码_wgan_wgan生成_
09-30
WGAN（Wasserstein Generative Adversarial Networks， Wasserstein GAN）是由Ilya Goodfellow等人在2017年提出的一种改进版的生成对抗网络（GAN）。传统GAN在训练过程中存在模式塌陷和不稳定的问题，而WGAN通过引入...
从泛化性到Mode Collapse：关于GAN的一些思考
allonok888的博客
02-20 2795
一、理论 关于GAN的理论，可以把GAN模型按照正则化、非正则化模型分成两大类。 非正则化包括经典GAN模型以及大部分变种，如f-GAN，Least Square GAN，EBGAN等等。这些模型的共同特点是不对要生成的样本的分布做任何先验假设，尝试去解决一般性的数据样本生成问题。然而，由于缺少正则化的先验条件，其模型的泛化性是存疑的。 换句话来说，泛化性说的是：所有模型都是需要先用有限的训...
关于mode collapse的学习日志
这个月亮不太亮的博客
09-03 3413
终于开始接触机器学习相关的项目了，和博士师兄谈话后发现项目是GAN，安心了一点，GAN也是自己之前接触过的。 之前只知道生成出来的结果多样性少，今天得知了一个新词"mode collapse"(模式坍塌)，指的是生成器产生的结果很单一，仅仅只是为了得到最低的判别器损失D_loss，却忽视了数据集的分布。 根据今天的谈话内容整理以下待解决的问题： 1.数学角度深入了解分布(学长是学概率的，没办法) ...
Wasserste GAN理解
pandamax的博客
03-13 4326
原文：发布者: 炼数成金_小数  原作者: Gapeng GAN回顾 Martin 称这个loss为original cost function（参见[1] 2.2.1章节），而实际操作中采用的loss为the –log D cost（参见[1] 2.2.2章节）。 GAN存在的问题：初探 当固定G时，训练D直到收敛，可以发现D的lo
05.SNGAN（Spectral Normalization for Generative Adversarial Networks）
weixin_44177594的博客
04-07 1319
参考链接 SNGANintroducemethod频谱范数实现奇异值conclusion introduce 现在我们的目的，是要保证对于每一个位置的 x，梯度的模都小于等于 1。在神经网络中，将梯度的模限制在一个范围内，抽象地来说就是让产生的函数更平滑一些，最常见的做法便是正则化。SNGAN（频谱归一化 GAN）为了让正则化产生更明确地限制，提出了用谱范数标准化神经网络的参数矩阵 W，从而让神经网络的梯度被限制在一个范围内。 method 频谱范数 Lipschitz： 我们的目的就是为了满足Li
06.SAGAN（Self-Attention Generative Adversarial Networks）
weixin_44177594的博客
04-07 1068
SAGAN摘要introductionproblemsSAGAN的优点好处：SAGAN理论架构SAGAN 优化1. Spectral Normalization2. TTURmore details结果展示评估两个技巧self-attention机制 摘要 提出了一种基于自我注意力生成的对抗性网络(the Self-Attention Generative Adversarial Network), 可以注意力驱动、远距离依赖（long-range dependency）来完成生成图片的任务。传统的卷积GA
GAN代码实现（keras）
weixin_44177594的博客
04-06 1009
代码 from __future__ import print_function, division from keras.datasets import mnist from keras.layers import Input, Dense, Reshape, Flatten, Dropout from keras.layers import BatchNormalization, Activation, ZeroPadding2D from keras.layers.advanced_activati
WGAN-GP 代码（tensorflow）
weixin_44177594的博客
04-06 976
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import os import numpy as np from scipy import misc,ndimage # 读入本地的MNIST数据集，该函数为mnist专用 mnist = input_data.read_data_sets('MNIST_data') batch_size = 100 # 每张图片包含28*28个像素点
04.WGAN-GP（Improved Training of Wasserstein GANs）
weixin_44177594的博客
04-06 956
WGAN_GPGANWGANWGAN解决的问题：改进的地方：WGAN的问题：weight clipping为什么会有问题？weight clipping的另外一个问题WGAN-GP引入算法框架 GAN WGAN 之前总结的WGAN WGAN解决的问题： 彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度 基本解决了collapse mode的问题，确保了生成样本的多样性 训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程，这个数值越小代表GAN训练得越好，代表
WGAN matlab
最新发布
09-19
WGAN（Wasserstein GAN）是一种生成对抗网络的变体，旨在改善传统GAN的训练稳定性和生成样本质量。WGAN使用了一个名为Wasserstein距离的新的损失函数，它对生成器和判别器之间的距离进行度量，从而更准确地衡量生成...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值