原始GAN存在的问题

最新推荐文章于 2023-09-04 10:44:08 发布
最新推荐文章于 2023-09-04 10:44:08 发布
阅读量3.3k 收藏 6
点赞数
分类专栏： Deep Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/love_image_xie/article/details/84873933
版权

一、判别器非常强，导致loss都是0，不能引导生成器更新，所以可能生成出来的图像和真实图像差别很大，而loss仍然是0

原因1、我们是近似采样，并不能对原始数据全部采样

loss如下：

      说明从两个分布采样的数据没有重合区域，但是其实两组数据之间有重合，只是判别器太强了，可以找到一条线将两组数据分开，如图所示。

图上的点是两个分布的采样数据，因为我们并不知道分布，只能对分布采样，通过采样后的数据分布近似原始分布

       通过对分布采样，总能找到一条线将两组数据分开，因此我们要削弱判别器的能力，但是我们又想让判别器具有很强的能力，所以很矛盾，不知道削弱多少才合适。

原因2：数据的本质原因

     

最低0.47元/天 解锁文章
love_image_xie
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
01.GAN（Generative Adversarial Network ）
weixin_44177594的博客
03-31 496
GANbasic idea of GANgeneratordiscriminator基础的思想Theoretical Results手写数字举例algorithmstep1：fix G，update Dstep2：fix D， update GAdvantages and disadvantagesadvantagesdisadvantages第一个问题：训练困难、不稳定第二个问题：多样性不足development basic idea of GAN generator 对于generation的认识
WGAN, WGAN-GP, BE-GAN论文笔记
duanmuji的博客
03-01 6877
GAN网络的重点在于均衡生成器与判别器，若判别器太强，loss没有再下降，生成器学习不到东西，生成图像的质量便不会再有提升，反之也是。 WGAN 待更新。。。。。 WGAN中相较于此前GAN的改进主要在于以下四点： 判别器最后一层去掉sigmoid 生成器和判别器的loss不取log 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c 不要用基于动量的优化算法（包括momentum...
训练GAN时遇到的一些问题（更新中……）
weixin_51966502的博客
09-04 1088
我们假设一个理想情况，如果你的生成器生成的内容足够好，好到能以假乱真，这也是你想要的情况，在这个情况下，判别器自然是无法轻易辨别真伪的，因为你生成的内容实在是太好了，判别器既然做不到辨别真伪，那它肯定是一直有损失的。很多同学的GAN网络判别器损失可能会出现趋近于0的情况，这说明判别器太强了，判别器太强的结果就是无法给生成器提供有效的指导，这就需要我们需要适当降低判别器的网络能力，比如说简化判别器网络结构，降低参数量，或者减小判别器的学习率。1 减小D的层数，但是减的太过了也会出现最后无法指导G的情况。
GAN训练不稳定原因
qq_32172681的博客
08-16 8454
版权声明：本文为CSDN博主「weixin_43698821」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/weixin_43698821/article/details/85003226 1、很难使得G和D同时收敛 大多深度模型的训练都使用优化算法寻找损失函数比较低的值。优化算法通常是个可靠的“...
[深度学习] loss不下降的解决方法
热门推荐
currycode
04-10 14万+
链接：https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/ 当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一...
GAN模型存在的问题分析（梯度消失、模式崩溃）
coderge's CSDN Blog.
06-04 7785
原始的GAN并不成熟，存在着诸多问题，其中梯度消失和模式崩溃（collapse mode）问题严重限制GAN的发展。只有了解问题发生的本质，才能做出相应的改进，本章主要对GAN在训练中存在梯度消失和模式崩溃的原因进行分析。梯度消失即是利用误差反向传播（back propagation,BP）算法对深度神经网络进行训练时，梯度后向传播到浅层网络时基本不能引起数值的扰动，最终导致神经网络收敛很慢甚至不能收敛。GAN存在梯度消失的问题，并且在判别器训练得越好的时候，生成器梯度消失得越严重。最优判别器如下式: DG
Wasserstein GAN.zip
08-19
而Wasserstein GAN则是GAN的一种改进版本，解决了原始GAN在训练过程中的稳定性问题。 **Wasserstein距离与Wasserstein GAN：** 在传统的GAN中，训练过程可能会遇到模式塌陷（mode collapse）的问题，即生成器只...
GAN原理笔记1
08-03
4. 存在问题 我们已经知道GAN实际上是在利用散度来衡量两个分布之间的相似性，然而这种做法本身存在一些问题。在实际训练的过程中，尽管generator生成的图片从肉眼看上去已经很接近真实情况，但是discriminator还是...
GAN_Review
03-29
这种技术有助于解决单一模态图像可能存在的信息不足问题，为临床决策提供更多信息支持。 “隔离”在医学图像处理中通常指的是对特定区域或结构的分割。使用GANs，我们可以训练模型精确地定位并隔离出图像中的病灶或...
基于GAN的生成式图像隐写方案 (1)
05-15
本文提出了一种基于生成对抗网络（GAN）的生成式图像隐写方案（GS-GAN），旨在解决当前信息隐藏中载体修改会留有修改痕迹、载体选择困难且负载量太低的问题。该方案采用隐藏的信息作为驱动，直接生成含密图像进行...
【复现目标】GAN去水印论文1
08-03
GAN去水印论文1摘要 本论文提出了一种基于条件生成式对抗网络（conditional generative adversarial networks，cGANs）的可见水印去除方法，以解决现有的水印去除方法在实际应用中存在的不足之处。现有的水印去除...
GAN训练中的挑战和常见问题有哪些，如模式崩溃和模式坍塌等？
huidhsu的博客
07-11 3502
生成对抗网络（GAN）是一种强大的深度学习模型，用于生成逼真的数据样本。然而，GAN的训练过程中面临一些挑战和常见问题，其中包括模式崩溃和模式坍塌。本文将介绍这些问题以及可能的解决方法。GAN训练中的挑战和常见问题有哪些？
GAN性能不稳？这九大技术可“镇住”四类缺陷
AI科技大本营
02-21 4880
作者 | Bharath Raj译者 | ang010ela编辑 | 一一出品 | AI科技大本营尽管 GAN 领域的进步令人印象深刻，但其在应用过程中仍然存在一些困难。...
生成式对抗网络（GAN）相关问题汇总（较全面）
Briwisdom的博客
11-11 2万+
今年暑假在北京大学参加了一个月的人工智能DeeCamp训练营培训，期间实践课题是：基于文本的图像生成，用到了各种GAN网络对比试验结果。当时只是想着实验各种GAN看效果，对于每一个GAN都有什么改进一知半解。接下来还要指导一篇基于GAN的水下图像生成本科生毕设，现在整理一下网上的资源，慢慢学习。 0. GAN简介 GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是...
GAN网络在训练的是生成器的loss在不断增加，判别器的loss在不断的减小，积累的一点的经验~
qq_34612369的博客
08-14 1万+
这是因为判别器太强了，无法给G有效的指导，所以需要适当降低D的网络能力： 1 减小D的层数，但是减的太过了也会出现最后无法指导G的情况 2 减小D的学习率 ...
GAN对抗生成网络学习笔记（四）GAN难以训练问题以及WGAN
weixin_43869415的博客
12-16 5433
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、GAN训练1.1 训练不稳定1.2 Mode Collapse二、WGAN2.1 Wasserstein距离2.2 WGAN 前言 本篇论文主要记录了对抗生成网络训练难的问题和解决方式。 本文主要参考了两位大佬的博客 [WGAN (原理解析)](https://www.cnblogs.com/Allen-rg/p/10305125.html) [生成对抗网络——原理解释和数学推导](https://alberthg.gi
关于GANs的10 条训练经验
人工智能AI技术
08-15 1709
朋友们，我是床长! 如需转载请标明出处：http://blog.csdn.net/jiangjunshow 自从我对深度学习产生兴趣以来，我就一直对它们很着迷，主要是因为深度学习能做到很多不可置信的事情。 GANs生成的人脸(StyleGAN) 我第一次开始训练GAN时，我发现了这种有趣算法的双面性：训练极其困难。确实，在我尝试之前，我从论文上和其他人的尝试中了解到这一点，但...
用DCGAN训练自己的数据集
love_image_xie的博客
12-05 9358
第一步：读入数据 import tensorflow as tf import numpy as np import os import matplotlib.pyplot as plt import pdb def get_files(file_dir): img=[] label=[] for file in os.listdir(file_dir): ...
Vanilla GAN与最原始的GAN的区别
最新发布
04-02
3. 训练稳定性：最原始的GAN在训练过程中存在训练不稳定的问题，容易出现模式崩溃（mode collapse）等现象。后续的改进版本通过引入正则化技术、优化算法等方法，提高了训练的稳定性。 4. 生成样本质量：最原始的GAN...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值