【笔记】Wgan-Gp 判别器损失：损失为正值或者负值均可，表示的真数据和假数据的相对分布位置，收敛到0为目标；优化器使用Adam，并没有使用默认参数；Wgan使用RMSProp做优化

于 2021-11-28 21:37:42 发布
阅读量4k 收藏 14
点赞数 7
分类专栏： 小菜鸡加油 文章标签： python pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nyist_yangguang/article/details/121598200
版权

附加：Wgan

Wgan-Gp:

程序猿的探索之路
关注
  • 7
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 22
    评论
专栏目录
GAN 判别模型：判别器 (Discriminator) 原理与代码实例讲解
禅与计算机程序设计艺术
06-19 782
GAN 判别模型：判别器 (Discriminator) 原理与代码实例讲解 1. 背景介绍 1.1 生成式对抗网络 (GAN) 概述 生成式对抗网络（Generative Advers
生成对抗网络（2）
qq_41430572的博客
04-08 186
（3）WGAN&WGAN-GP WGAN提出GAN训练不稳定的原因，即JS不适合衡量不相交的分布之间的距离。对GAN损失函数做出了很大的改进，判决器最后一层去掉sigmoid，生成器和判决器的loss不取log，对更新后的权重截断到一定范围内。提出Wasserstein距离。 损失函数：(已转化为最小化形式) WGAN-GP是针对WGAN的存在的问题提出来的，WGAN在理论...
pytorch-wgan:DCGAN，WGAN-CP，WGAN-GP的Pytorch实现
05-04
GAN模型的Pytorch代码 这是使用相同的卷积架构的3种不同GAN模型的pytorch实现。 DCGAN（深度卷积GAN） WGAN-CP（使用重量修剪的Wasserstein GAN） WGAN-GP（使用梯度罚分的Wasserstein GAN） 依存关系 突出的软件包是： 麻木 scikit学习 张量流2.0 pytorch 1.6.0 火炬视觉0.7.0 要快速轻松地安装所有依赖项，您应该使用pip pip install - r requirements . txt 训练 在Fashion-MNIST数据集上运行DCGAN模型的训练： python main.py --model DCGAN \ --is_train True \ --download True \ -
生成对抗网络(四)-----------WGAN-GP
励志的小胡子
05-16 6478
一、WGAN的分析 从我们WGAN的实现结果来看，WGAN可以很好的生成图像。因此，我们来分析一下W距离和生成图像之间的关系。理论上距离越近，图像生成质量越高。就说明WGAN的效果很好。在WGAN的论文式样中对三种架构进行了实验。第一种是生成器采用普通的感知机。第二组是生成器采用标准的DCGAN。第三组是生成器和判别器都采用MLP。实验结果如下图： 从第一和第二组实验中可以看出，随着W的距...
【笔记】Wgan-Gp：重点关注判别器损失
nyist_yangguang的博客
11-28 2456
问题：有人训练的wgan-gp，判别器器损很高，但是生成器的损失函数为0，是否代表生成器效果太好？ 个人遇到的问题：生成器逐渐升高，不收敛。但是判别器的loss收敛 回答：That’s not a problem, your charts look okay. The generator loss is actually meaningless by itself, since the critic’s loss is invariant to any constant o...
关于wgan-gp的loss值的问题
weixin_53051863的博客
09-03 4493
问题：有人训练的wgan-gp，判别器器损很高，但是生成器的损失函数为0，是否代表生成器效果太好？ 个人遇到的问题：生成器逐渐升高，不收敛。但是判别器的loss收敛 回答：That’s not a problem, your charts look okay. The generator loss is actually meaningless by itself, since the critic’s loss is invariant to any constant offset (I.e. A .
WGAN-GP Gradient Penalty Loss爆炸
NLOS的博客
08-30 2345
问题描述 前一段升级了Pytorch(从0.4.0升级到了1.1.0)，这几天用多块卡跑一个判别器用了WGAN-GP的网络。 当使用单张GPU时，一切正常； 但当使用多块GPU时，D Loss会爆炸！爆炸原因是其中的Gradient Penalty分量爆炸！ 问题原因： 参考这篇震惊的文章：震惊！！！PyTorch实现的WGAN-GP竟会爆炸 发现是pytorch版本的问题。 解决方案： 把pytorch更新到最新版本(1.6.0)即可。 anaconda的更新方法： con..
WGAN原理
love_image_xie的博客
12-15 3135
第一部分：原始GAN问题详细讨论 第二部分：WGAN原理 第一部分： 对于判别器，GAN最小化如下损失函数： 其中，Pr表示真实样本分布，Pg表示生成器产生的样本分布。 对于生成器，有两个损失函数：         第一种损失函数存在的问题是当判别器最优时，生成器损失函数相当于最小化JS散度，即判别器越优，最小化生成器的loss就越接近于最小化Pr和Pg之间的JS散度。但是问题...
gan判别器的loss接近零_GAN论文阅读笔记4：最小二乘GAN/f-GAN
weixin_30430333的博客
01-03 878
在学习完GAN和WGAN的原理后，总结出GAN的套路如下：用判别器D去区分真实的数据分布 和伪造的数据分布 的差异，再用生成器G来最小化这个差异。在原始GAN中，当D达到最优时，这个差异为两个分布之间的JS散度；在WGAN中，当D达到最优时，这个差异为两个分布之间的W距离。除了JS散度和W距离之外，还有别的选择吗？答案是肯定的：LSGAN（Least Squares GAN，最小二乘GAN）把...
WGAN
热门推荐
简单记录生活、学习
04-01 1万+
WGAN相比原始GAN的算法实现流程却只改了四点： 判别器最后一层去掉sigmoid 生成器和判别器的loss不取log 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c 不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行 ...
权重衰减系数
hellocsz的博客
05-31 7252
1. 权重衰减（weight decay） L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。 1.1 L2正则化与权重衰减系数 L2正则化就是在代价函数后面再加上一个正则化项： 其中C0代表原始的代价函数，后面那一项就是L2正则化项，它是这样来的：所有参数w的平方的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与C0...
DCGAN-LSGAN-WGAN-GP-DRAGAN-Tensorflow-2：DCGAN LSGAN WGAN-GP DRAGAN Tensorflow 2
02-06
建议 ... WGAN-GP 德拉甘 名人 DCGAN LSGAN WGAN-GP 德拉甘 日本动漫 WGAN-GP 德拉甘 用法 环境 Python 3.6 TensorFlow 2.2，TensorFlow插件0.10.0 OpenCV，scikit映像，tqdm，oyaml 我们建议
WGAN-GP-tensorflow:WGAN-GP张量流实现
05-14
WGAN-GP-张量流该存储库是用于MNIST，CIFAR-10和ImageNet64的的Tensorflow实现。 除每行的第一张图像外，README.md中的所有样本均由神经网络生成。安装先决条件python 3.5、3.6或3.7 python3-tk Ubuntu / Debian /等...
WGAN-GP.rar
03-09
在PyTorch框架下实现WGAN-GP，我们需要定义生成器和判别器的网络结构，这两个网络通常都是由卷积层、激活函数和批归一化等构成。生成器的任务是学习从随机噪声向量生成逼真的高分辨率图像，而判别器则负责区分真实...
pytorch-gan-collections:DCGAN，WGAN-GP和SNGAN的PyTorch实施
04-29
有关使用pytorch计算初始分数和FID的更多信息，请参见 楷模 直流电源 威根 WGAN-GP SN-GAN 要求 初始化metric模型git submodule update --init 安装python包pip install -U pip setuptools pip install -r ...
wgan 不理解 损失函数_WGAN学习笔记
weixin_33443972的博客
01-30 2642
GAN自从被提出之后就受到了广泛的关注，GAN也被逐渐用于各种有趣的应用之中。虽然GAN的idea对研究者们有着巨大的吸引力，但是GAN的训练却不像普通DNN那样简单，generator和discriminator之间的平衡，训练过程中没有很好的指标度量训练效果成为了训练GAN的难点。WGAN的提出几乎完美解决了这两个问题。参考文章：原始GAN存在的问题要想知道原始GAN存在什么问题，我们先看一下...
为什么模型loss为负
小小程序员
05-27 9461
一般loss为负是在loss采用交叉熵的情况下： 可以将softmax 改为 log_softmax
wgan 不理解 损失函数_关于WGAN-GP的理解
weixin_39707168的博客
12-21 1067
关于原始GAN的理解网上的野生博客漫天飞，从GAN到WGAN都还好，非常能起到导学的作用，但是到了WGAN-GP这篇paper了有点儿云遮雾绕，绕了一大圈还是要自己慢慢啃，在谷歌上搜了一下WGAN-GP，也在quora上提问了一下算是有个大概了！reference：https://medium.com/@jonathan_hui/gan-wasserstein-gan-wgan-gp-6a1a2a...
wgan-div和wgan-gp有什么不同，并给出wgan-div中的损失函数pytorch形式代码
最新发布
05-23
WGAN-GP和WGAN-Div都是基于Wasserstein距离的GAN改进算法。 WGAN-GP和WGAN-Div都保留了WGAN的一些特点，如使用Wasserstein距离来衡量生成器和判别器之间的距离，使用weight clipping等。 不同之处在于，WGAN-GP使用了梯度惩罚来强制判别器满足Lipschitz连续性，而WGAN-Div则使用了一种新的多样性评价指标——divergence来衡量生成器和真实数据之间的距离。 以下是WGAN-Div的损失函数PyTorch形式代码： ```python import torch import torch.nn as nn # 定义WGAN-Div的判别器损失函数 def d_loss(real_data, fake_data, discriminator, generator, device): # 生成器产生的样本 generated_data = generator(torch.randn(real_data.size(0), 100).to(device)) # 判别器对真实数据的输出 d_output_real = discriminator(real_data) # 判别器对生成数据的输出 d_output_fake = discriminator(generated_data.detach()) # WGAN-Div的判别器损失函数 loss_d = -torch.mean(d_output_real) + torch.mean(torch.exp(d_output_fake - 1)) return loss_d # 定义WGAN-Div的生成器损失函数 def g_loss(real_data, generator, discriminator, device): # 生成器产生的样本 generated_data = generator(torch.randn(real_data.size(0), 100).to(device)) # 判别器对生成数据的输出 d_output_fake = discriminator(generated_data) # WGAN-Div的生成器损失函数 loss_g = -torch.mean(torch.exp(d_output_fake - 1)) return loss_g ``` 其中，`d_loss`为WGAN-Div的判别器损失函数，`g_loss`为WGAN-Div的生成器损失函数。实现时需要定义判别器和生成器并将其传入损失函数中，同时需要指定设备（如`device=torch.device('cuda:0')`）。
评论 22
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猿的探索之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值