关于Wasserstein GAN的理解

最新推荐文章于 2024-05-17 11:42:39 发布
最新推荐文章于 2024-05-17 11:42:39 发布
阅读量405 收藏 1
点赞数 1
文章标签： 生成对抗网络 深度学习 机器学习 GWGAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010948546/article/details/126892409
版权

看了知乎文章令人拍案叫绝的Wasserstein GAN，记录一下自己的WGAN的理解

  1. 首先WGAN使用Wasserstein距离作为损失函数对模型进行训练，然而这个Wasserstein距离的具体公式是什么不知道，所以需要使用判别器来拟合这个公式。
  2. 拟合出来Wasserstein距离以后，接着使用生成器来缩小这个Wasserstein距离

这就是WGAN的整体思路。

太懒了，就不编辑公式了，直接截图过来
请添加图片描述
而判别器所要拟合的就是公式中的 f w f_w fw​，这里的W是求最大值，而深度学习是求最小值。因此在WGAN的模型中训练判别器的模型是对其取反，如下所示
请添加图片描述
在得到了Wasserstein距离后，使用生成器开始对其进行最小化操作，公式如下所示
请添加图片描述

以后有新的理解，再来补充

RedMery
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【论文】【生成对抗网络五】Wasserstein GAN （WGAN）
梦想是要有的，万一实现了呢！
08-01 2238
Wasserstein GAN （WGAN）我们引入了一种我们认为是WGAN的算法，这是传统GAN训练的替代方案。在这个新模型中，我们展示了我们可以提高学习的稳定性，摆脱模式崩溃等问题，并提供有意义的学习曲线，对调试和超参数搜索有用。此外，我们证明了相应的优化问题是合理的，并提供了扩展的理论工作，突出了与分布之间其他距离的深层联系。
样本不足？样本生成：GAN生成对抗网络的改进算法—Wasserstein-GAN(WGAN)，数据由Excel导入，直接运行！
weixin_48747334的博客
11-07 985
Wasserstein GAN（Wasserstein Generative Adversarial Network，WGAN）是一种生成对抗网络（GAN）的改进模型，旨在解决传统GAN模型中存在的梯度消失、训练不稳定以及模式崩溃等问题。WGAN引入了Wasserstein距离（也称为Earth Mover's Distance，EMD）作为GAN的优化目标，以更稳定和可解释的方式进行训练生成器和判别器。
wasserstein距离损失函数&SinkhornDistance代码
最新发布
2301_77554343的博客
05-17 417
wasserstein距离损失函数介绍(WGAN)和SinkhornDistance类的代码
[生成对抗网络GAN入门指南]（5）WassersteinGAN
gdtop的个人笔记
02-12 4593
本篇blog的内容基于原始论文WassersteinGAN和《生成对抗网络入门指南》第五章。 一、GAN的优化问题 WGAN前作：TOWARDS PRINCIPLED METHODS FOR TRAINING GENERATIVE ADVERSARIAL NETWORKS 关于GAN的一些问题：训练的不稳定性；理论上，应该先把判别器训练到足够好，但是实际操作发现反而更难去优化生成器。 上述...
【梯度惩罚Wasserstein：GAN：超分】
weixin_43690932的博客
02-24 1544
仅供自己参考
Wasserstein GAN
灰巧克力爱松露
03-12 8137
来自Martin Arjovsky等人的“Wasserstein GAN”。
wasserstein-gan:Wasserstein GAN的Chainer实现
04-13
总的来说，这个项目展示了如何在Chainer中实现Wasserstein GAN，提供了对WGAN训练流程的深入理解，并且可以在多种数据集上进行实验，以生成高质量的图像。对于希望深入了解WGAN和Chainer框架的人来说，这是一个宝贵...
Wasserstein GAN.zip
08-19
总的来说，这个项目提供了Wasserstein GAN的实战示例，帮助读者深入理解如何在Python环境中构建和训练这一模型，同时通过可视化结果更好地理解模型的训练效果。对于想学习GAN和Wasserstein距离的人来说，这是一个...
Python-WassersteinGAN的Torch实现
08-09
**Python-WassersteinGAN的Torch实现** 在深度学习领域，生成对抗网络（Generative Adversarial Networks，GANs）是一种强大的模型，用于生成逼真的数据样本。其中，Wasserstein GAN（WGAN）是GAN的一个变种，由...
Python-WassersteinGAN是TensorFlow的一个简单实现
08-09
**Python-WassersteinGAN在TensorFlow中的实现** Wasserstein Generative Adversarial Networks（WGAN）是一种深度学习模型，用于生成逼真的图像或其他数据。它由Ilyas Goodfellow等人提出，解决了传统GAN...
【GANs】Wasserstein GAN
m0_57411450的博客
09-28 517
Wasserstein GAN原文链接W-GAN通过使用WassersteinWasserstein距离代替优化JSJSJS散度来优化训练的生成对抗网络。对于真实分布prp_rpr​和模型分布pθp_{\theta}pθ​，他们的1st−Wasserstein1st−WassersteinW1(pr,pθ)=inf⁡γ∼Γ(pr,pθ)E(x,
Wasserstein GAN（小白学GAN系列 三）
fan1102958151的博客
05-25 1751
原文链接：https://arxiv.org/abs/1701.07875 简介 核心思想：改进GAN的优化细节来稳定GAN的训练过程。通过去掉判别器中的sigmoid，以及生成器和判别器中LOSS的log运算，且每次更新时将更新的值限制在一个常数大小C之内，并且尽量不使用基于动量的优化算法。 直观地说，原始的GAN使用JSD来作为LOSS是不合理的，它的分布如右图所示仅仅在两个分布相拟合的时候才会等于零，并且此点与其他点之间是不连续的，因此使用随机梯度下降来优化模型是十分困难的。而本文作者去掉s
WGAN (Ｗasserstein GAN)
Hansry的博客
11-07 1980
Paper: https://arxiv.org/abs/1701.07875 Github: https://github.com/eriklindernoren/PyTorch-GAN https://github.com/martinarjovsky/WassersteinGAN 一. 前言 传统GAN存在的问题: 存在训练困难、生成器和判断器的loss无法指示训练过程、生成样本缺乏多样...
[生成对抗网络GAN入门指南]（6）WassersteinGAN-GP
gdtop的个人笔记
02-12 5401
本篇blog的内容基于原始论文WassersteinGAN-GP(NIPs2017)和《生成对抗网络入门指南》第五章。 一、权重裁剪的问题（为什么要改进GP）        WGAN理论中前提条件是1-Liposchitz条件，而对应使用的方法是权重剪裁，希望把网络固定在一个大小范围内。        但是后来发现权重剪裁有许多问题，所以改进WGAN-GP，使用一种叫做梯度惩罚（gradie...
揭示 Wasserstein 生成对抗网络的潜力：生成建模的新范式
weixin_46287760的博客
03-02 1439
本文深入探讨了 WGAN 的概念基础、优势和实际意义，说明了它们在更广泛的生成建模背景下的重要性。
图文详解WGAN及其变体WGAN-GP并利用Tensorflow2实现WGAN与WGAN-GP
热门推荐
盼小辉丶的博客
05-25 1万+
自GAN提出以来，许多论文尝试通过使用启发式方法（例如尝试不同的网络体系结构，超参数和优化器）来解决GAN训练的不稳定性。WGAN缓解甚至消除了许多GAN训练过程中存在的问题。相较于原始GAN的其根本的改进是对损失函数的修改。从理论上讲，如果两个分布不相交，则JS散度将不再是连续的，因此将不可微，从而导致梯度为零。 WGAN通过使用一个新的损失函数来解决此问题，该函数在任何地方都是连续且可微的！本文通过对WGAN及其变体WGAN-GP的详解与实现，介绍了解决GAN训练过程中存在问题的一种有效方法。
YOLO改进：【损失函数篇】提高小目标检测精度——Normalized Wasserstein Distance (NWD)损失函数
qq_36070656的博客
10-18 7220
NWD损失函数助力小目标检测
【学习笔记】Wasserstein GAN
码海畅游记录
01-13 669
原始GAN的问题 判别器越好，生成器梯度消失越严重。 当判别器为最优时，最佳生成器的损失函数为 2JS(Pr∥Pg)−2log⁡2 2 J S\left(P_{r} \| P_{g}\right)-2 \log 2 2JS(Pr​∥Pg​)−2log2 即当判别器为最优时，最小化真实分布PrP_{r}Pr​与生成分布PgP_{g}Pg​之间的JS散度，可以得到最优的生成器。当真实分布PrP_{r}Pr​与生成分布 PgP_{g}Pg​有重叠部分时，最小化其JS散度可以拉近这二个分布。但当真实分布PrP_{r
wasserstein gan代码pytorch
07-15
### 回答1： Wasserstein GAN是一种生成对抗网络（GAN）的变体，具有较强的生成能力和稳定性。下面将用300字中文回答Wasserstein GAN的PyTorch代码。 Wasserstein GAN的目标是最小化真实分布和生成分布之间的Wasserstein距离，通过判别器将生成的样本与真实样本进行比较。在PyTorch中，实现Wasserstein GAN的代码如下： 首先，导入PyTorch库和其他必要的依赖项，并设置超参数。然后，定义生成器和判别器的网络结构。生成器负责将随机噪声转换为与真实样本类似的数据，判别器则判断输入数据是真实样本还是生成样本。 接下来，定义生成器和判别器的损失函数。对于生成器来说，它的目标是使判别器无法区分生成样本和真实样本，因此损失函数取生成样本在判别器输出的平均值。对于判别器来说，它的目标是将真实样本的输出值调整为正的，将生成样本的输出值调整为负的，因此损失函数取输出值之间的差值的均值。 接着，定义生成器和判别器的优化器，并开始训练过程。首先，更新判别器的参数，通过前向传播和反向传播计算梯度，然后优化器根据梯度更新参数。然后，更新生成器的参数，使用生成样本的损失计算生成器的梯度，并用优化器进行参数更新。 最后，通过生成器生成一定数量的样本，并通过可视化技术观察生成的样本的质量和多样性。 以上是关于Wasserstein GAN的PyTorch代码的概述，具体的实现细节可以参考相关的代码库和教程。通过理解和实践这些代码，可以更好地理解和运用Wasserstein GAN来提高生成模型的表现。 ### 回答2： Wasserstein GAN (WGAN) 是一种生成对抗网络，它通过最小化真实样本和生成样本之间的Wasserstein距离来进行训练。在这里，我将简要介绍如何使用PyTorch编写Wasserstein GAN的代码。 首先，我们需要导入PyTorch库和其他必要的包： ``` import torch import torch.nn as nn import torch.optim as optim ``` 接下来，我们可以定义生成器（Generator）和判别器（Discriminator）的网络架构。生成器负责从随机噪声生成假样本，判别器负责区分真实样本和生成样本。这里，我们使用全连接层作为网络的基本组件，你也可以根据实际需求进行改变。 ``` class Generator(nn.Module): def __init__(self, input_dim, output_dim): super(Generator, self).__init__() self.fc = nn.Sequential( nn.Linear(input_dim, 128), nn.ReLU(), nn.Linear(128, output_dim), nn.Tanh() ) class Discriminator(nn.Module): def __init__(self, input_dim): super(Discriminator, self).__init__() self.fc = nn.Sequential( nn.Linear(input_dim, 128), nn.ReLU(), nn.Linear(128, 1), ) ``` 然后，我们可以定义WGAN的损失函数，这里使用负的Wasserstein距离作为损失。同时，我们还需要定义生成器和判别器的优化器。 ``` def wasserstein_loss(real_samples, fake_samples): return torch.mean(real_samples) - torch.mean(fake_samples) generator = Generator(input_dim, output_dim) discriminator = Discriminator(input_dim) generator_optimizer = optim.Adam(generator.parameters(), lr=0.0002, betas=(0.5, 0.999)) discriminator_optimizer = optim.Adam(discriminator.parameters(), lr=0.0002, betas=(0.5, 0.999)) ``` 接下来，我们可以进行训练循环。在每个训练周期中，我们先使用生成器生成假样本，再将真实样本和假样本分别输入判别器，并计算损失。然后，我们根据损失更新生成器和判别器的权重。 ``` for epoch in range(num_epochs): for i, real_samples in enumerate(data_loader): # Generate fake samples z = torch.randn(real_samples.size(0), input_dim) fake_samples = generator(z) # Discriminator forward and backward discriminator_real = discriminator(real_samples) discriminator_fake = discriminator(fake_samples) discriminator_loss = wasserstein_loss(discriminator_real, discriminator_fake) discriminator.zero_grad() discriminator_loss.backward() discriminator_optimizer.step() # Generator forward and backward fake_samples = generator(z) discriminator_fake = discriminator(fake_samples) generator_loss = -torch.mean(discriminator_fake) generator.zero_grad() generator_loss.backward() generator_optimizer.step() ``` 最后，我们可以使用训练好的生成器来生成新的样本： ``` with torch.no_grad(): z = torch.randn(num_samples, input_dim) generated_samples = generator(z) ``` 这就是使用PyTorch编写Wasserstein GAN的基本步骤。通过调整网络架构、损失函数和训练参数，你可以进一步优化模型的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值