训练正常&异常的GAN损失函数loss变化应该是怎么样的

已于 2022-08-02 11:22:38 修改
阅读量2.8w 收藏 156
点赞数 35
分类专栏： 杂文 文章标签： 划水
于 2022-08-02 11:21:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40714949/article/details/126117319
版权

这里以个人用到的一个网络为例，仅供参考，不代表所有情形。
用tensorboard记录loss曲线的走向，横轴为迭代次数(iter)，纵轴为损失(loss)值。

正常的

判别器loss
在这里插入图片描述
loss在2.6到3.4之间来回上下波动。注意，在tensorboard中，最好将Smoothing值调整为0，如果使用了Smoothing将比较难观察到loss的波动趋势，这里以Smoothing为0.999为例，还是展示判别器损失：
在这里插入图片描述
这个时候容易误判为判别器loss在稳步下降。不过实际上可以发现这个"下降"从3.25降到了3.05，所以本质上还是小范围波动。
生成器loss
在这里插入图片描述
loss在3.0到3.6之间来回上下波动。类似的，观察Smoothing为0.999时的情况：
在这里插入图片描述
给人的感觉是生成器loss一直在往上跑，可能会怀疑生成器没在进一步学习；但实际上仔细看容易发现只是从3.25跑到了3.35，依旧是在一个小区间内波动，生成器的能力确实是在继续逐步增强的。

生成器崩溃

判别器loss
在这里插入图片描述
可以发现从3一路下降到了0.8，在训练一开始就有在快速下降。观察Smoothing为0.999时的情况：
在这里插入图片描述
生成器loss
在这里插入图片描述
可以发现从4一路上升到了6.5，在训练一开始就有在快速上升。观察Smoothing为0.999时的情况：
在这里插入图片描述
从结果的角度出发，在生成器loss快速上升的时候，其已经开始生成无意义的噪声图像：
在这里插入图片描述

小结

从原理上来说，生成器和判别器从一开始都是非常弱的，因此一般不会在训练一开始两者损失就非常剧烈的波动。在训练一段时间达到稳定期后，生成器和判别器的损失都应该在一个小区间内波动，而不会有明显的持续上升/下降趋势。
如果生成器损失持续明显上升，表明其无法学习怎么欺骗判别器，体现在结果上就是开始生成噪声。
如果判别器损失持续明显上升，表示其无法学习怎么识别生成器，体现在结果上就是生成器可能会生成一致的，无意义的但是能欺骗判别器的图像(比如直接输出训练集中的样本)。

xiongxyowo
关注
专栏目录
深度学习——GAN（生成网络）损失函数解析
wenqiwenqi123的博客
03-25 1万+
生成网络（GAN）是近年来很火的课题，原始论文《Generative Adversarial Nets》的介绍请移步：https://blog.csdn.net/wenqiwenqi123/article/details/86178376 本篇主要详细解析它的损失函数。在论文中损失函数定义为： 当然乍一看去，没看懂这个损失函数。我们细细来看： ...
GAN loss
Loy Fan
10-20 580
传统GAN 来源：https://arxiv.org/abs/1406.2661 符号解释 GGG Generator生成器 DDD Discriminator判别器 PdataP_{data}Pdata​ 真实数据分布 PGP_GPG​ 生成器生成数据分布 目标公式 min⁡Gmax⁡DEx∼Pdata[log⁡D(x)]+Ez∼PG[log⁡(1−D(G(z)))]\min _{G} \max...
GAN 网络训练中，G_loss上升，D_loss下降
baidu_40582876的博客
12-19 1万+
最近重写拾起了GAN网络，做layout的生成工作，但是在训练的过程中又出现了G和Dloss不按照正常的情况下降和上升： 网上查找的原因是：种情况是判别器太强了，压制了生成器。 查询资料后总结的方法 1 提升G的学习率，降低D的学习率。 2 G训练多次，D训练一次。 3 使用一些更先进的GAN训练目标函数。 参考资料： 训练GAN时，遇到G_loss不断上升最后平稳，D_loss不断下降最后趋于0,这种情况应该如何调整？ - 知乎 ...
GAN系列训练出现的生成器loss一直上升，无法收敛的问题
qq_73683939的博客
05-22 1638
DCGAN训练发生了生成器损失不断上升，判别器损失趋于0的严重情况，永不收敛，本文提供了自己的解决方案。
生成对抗网络（GAN）从判别器和生成器的角度如何分割和理解损失函数V(D, G)
m0_51200050的博客
07-03 1341
损失函数的拆分和理解：通过将损失函数拆分，我们可以更好地理解判别器和生成器各自的优化目标。判别器的目标：最大化对真实数据的判断准确性，同时最小化对生成数据的判断准确性。损失函数的最佳值：对于判别器来说，理想的损失值是 0，这表示它能够完美区分真实数据和生成数据。通过理解判别器的角度和其损失函数的最佳值，我们可以更好地掌握 GAN 的训练机制及其优化目标。如果您有更多问题或需要进一步的解释，请告诉我！生成器希望以上损失LossGLossG​越小越好，且最小值理论上可达负无穷解释。
学习笔记：Pytorch利用MNIST数据集训练生成对抗网络（GAN）
生物医学工程学生的博客
08-27 1741
2023.8.27在进行深度学习的进阶的时候，我发了生成对抗网络是一个很神奇的东西，为什么它可以“将一堆随机噪声经过生成器变成一张图片”，特此记录一下学习心得。
GAN的Loss的比较研究——传统GAN的Loss的理解
北国觅梦
12-01 4281
参考文献： https://blog.csdn.net/StreamRock/article/details/81096105 https://www.cnblogs.com/kai-nutshell/p/12968454.html 参考文献1中给出对于loss_D的解释，鄙人表示很不错，但是对于Loss_G的解释太过于笼统，没有给出具体的解释。本文将继续解释 GAN里面有两个Loss：Loss_D（判别网络损失函数）、Loss_G（生成网络损失函数）。 Loss_D只有两个分类，Real imag
（具体解决方案）训练GAN深度学习的时候出现生成器loss一直上升但判别器loss趋于0
陶小桃Blog
08-04 5309
当然，需要明确的是，GAN的效果如何，其实是很主观的事情，也许和loss表现的趋势没啥太大的关系，也许在loss表现不对劲的情况下也能生成效果好的图片。今天小陶在训练CGAN的时候出现了绷不住的情况，那就是G_loss（生成器的loss值）一路狂飙，一直上升到了6才逐渐平稳。而D_loss（判别器的loss值）却越来越小，具体的情况就看下面的图...训练里是非常容易遇到的问题，所以不用慌，是有解决的办法的。的loss值）却越来越小，具体的情况就看下面的图片吧。的时候出现了绷不住的情况，那就是G_loss（
GAN 中Loss函数精讲
热门推荐
gxiaoyaya的博客
04-28 2万+
GANs有生成器Generator和辨别器Discriminator组成，基本的结构图如下： GANs结构示意图 工作原理 　　我们通常使用两个优化算法来训练GANs。判别器是一个普通的神经网络分类器，训练的过程中，我们使用辨别器 (discriminator) 学习引导生成器。 　　判别器： 　　在训练的过程中，我们向辨别器discriminator输入的数据一...
损失函数一直在波动_目标检测回归损失函数——L1、L2、smooth L1
weixin_39638929的博客
12-05 1281
一、 L1 Loss1. 函数特性L1 Loss也称为平均绝对值误差（MAE），是指模型预测值f(x)和真实值y之间绝对差值的平均值，公式如下： 其中 和 分别表示第 个样本的预测值及相应真实值， 为样本的个数。曲线分布如下：L1损失函数的导数是常量，有着稳定的梯度，所以不会有梯度爆炸的问题。对于离群点造成的惩罚是固定的，不会被放大。2. 存在的问题MAE函数虽然连续，但是在0处不可导。而...
损失函数一直在波动_人工智能-深度学习-代价函数，梯度下降和反向传播
weixin_39950812的博客
11-23 913
深度学习算法最后都归结为求解最优化问题，以达到我们想让算法达到的目标，即找到最好的那个决策。为了完成某一目标，需要构造出一个“目标函数”来，然后让该函数取极大值或极小值，从而得到深度学习算法的模型参数。代价函数(Cost Function )： 用于找到最优解的目的函数，这也是代价函数的作用。代价函数是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。损失函数(Loss Funct...
记录模型训练时loss值的变化情况
01-19
记录训练过程中的每一步的loss变化 if verbose and step % verbose == 0: sys.stdout.write('\r{} / {} : loss = {}'.format( step, total_steps, np.mean(total_loss))) sys.stdout.flush() if verbose: sys.stdout.write('\r') sys.stdout.flush() 一般我们在训练神经网络模型的时候，都是每隔多少步，输出打印一下loss或者每一步打印一下loss，今天发现了另一种记录loss变化的方法，就是用
解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题
09-16
主要介绍了解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
理解GAN对抗神经网络的损失函数和训练过程
/dev/null
05-20 5843
GAN最不好理解的就是Loss函数的定义和训练过程，这里用一段代码来辅助理解，就能明白到底是怎么回事。其实GAN的损失函数并没有特殊之处，就是常用的binary_crossentropy，关键在于训练过程中存在两个神经网络和两个损失函数。 np.random.seed(42) tf.random.set_seed(42) codings_size = 30 generator = keras.models.Sequential([ keras.layers.Dense(100, activati
keras GAN训练是loss不发生变化,accuracy一直为0.5怎么办
hemancute的博客
09-14 4712
给大家分享一下keras GAN训练是loss不发生变化,accuracy一直为0.5怎么办，希望大家阅读完这篇文章后大所收获，下面让我们一起去探讨方法吧！ 首先谈谈我的是如何解决的： 网络结构：AlexNet 优化器：Adam （这里正是问题所在） 框架：PyTorch 关于优化器，我最开始使用的的是torch.optim.Adam()，但是训练100个Epoch后，准确率始终在 49% ~ 50%。 解决方法：换个优化器！我使用的是torch.optim.SGD()，其他的或许也行，但我...
gan网络损失函数_【Loss损失函数集锦（上）】理解计算机视觉中的损失函数（含十多个损失函数介绍和代码）...
weixin_39539002的博客
12-22 967
３Content-Style损失函数 风格转换是将图像的语义内容转换成不同风格的过程。样式传递模型的目标是，给定一个内容图像(C)和一个样式图像(S)，生成包含C的内容和S的样式的输出图像。在这里，我们讨论用于训练这种样式传递模型的内容样式损失函数的最简单实现之一。内容样式损失函数的许多变体已用于以后的研究中。下一节将讨论一个这样的损失函数，称为纹理损失。内容/样式丢失的数学表示： ...
GAN ZOO 第2节： 对原始GAN的损失函数进行改进：LSGAN、WGAN、WGAN-GP
manquyuan0078的博客
01-21 6964
“GAN ZOO”系列文章说明     GAN成为当下研究热点，相关论文数量正在以指数趋势增长，如上图所示。     为了便于大家迅速追踪研究热点，“AI微刊”团队持续推出“GAN ZOO”系列文章，精选典型GAN模型，对其进行精简的解析，让你“三分钟”读一篇论文。   GAN ZOO 第2节： 对原始GAN的损失函数进行改进：LSGAN、WGAN、WGAN-GP PS：本文...
GAN训练时，G_loss一直变大，而D_loss迅速下降到0
最新发布
m0_52837183的博客
08-12 245
直接来说，我们会选择修改模型将G变复杂（加深加宽），D变简单。但是在面对有些任务时，这样的操作仍然无法得到好的结果。一般来说，这意味着生成任务难度太大，G模型强度不够，而D的能力过强。3. 使用一些更先进的GAN训练目标函数。2.增大G的学习率，降低D的学习率。1.G训练多次，D训练一次。
【纯干货级教程】深度学习根据loss曲线进行分析调参
2401_84870184的博客
06-16 4423
以YOLOv5/YOLOv7示例展示深度学习的目标检测算法在输出的文件中的loss曲线变化规律的一般情况的分析总结，并用以调整自己的模型、调参等。
pytorch代码实现训练损失函数使用Focal Loss 损失函数
05-13
好的，以下是使用Pytorch实现Focal Loss损失函数的代码： ```python import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): def __init__(self, gamma=2, alpha=None, size_average=True): super(FocalLoss, self).__init__() self.gamma = gamma self.alpha = alpha if isinstance(alpha, (float, int)): self.alpha = torch.Tensor([alpha, 1 - alpha]) if isinstance(alpha, list): self.alpha = torch.Tensor(alpha) self.size_average = size_average def forward(self, input, target): if input.dim() > 2: input = input.view(input.size(0), input.size(1), -1) # N,C,H,W => N,C,H*W input = input.transpose(1, 2) # N,C,H*W => N,H*W,C input = input.contiguous().view(-1, input.size(2)) # N,H*W,C => N*H*W,C target = target.view(-1, 1) logpt = F.log_softmax(input) logpt = logpt.gather(1, target) logpt = logpt.view(-1) pt = logpt.data.exp() if self.alpha is not None: if self.alpha.type() != input.data.type(): self.alpha = self.alpha.type_as(input.data) at = self.alpha.gather(0, target.data.view(-1)) logpt = logpt * at loss = -1 * (1 - pt) ** self.gamma * logpt if self.size_average: return loss.mean() else: return loss.sum() ``` 其中，`gamma`是超参数，控制着难易样本的权重，一般默认为2；`alpha`是类别权重系数，可以为None、float、int或list类型；`size_average`控制是否对每个样本的损失求平均，默认为True。 使用时，只需在训练代码中调用该损失函数即可： ```python loss_fn = FocalLoss(gamma=2, alpha=[0.25, 0.75]) optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(num_epochs): for images, labels in train_loader: images = images.to(device) labels = labels.to(device) outputs = model(images) loss = loss_fn(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() ```
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值