wgan 不理解 损失函数_gan网络损失函数_从GAN到WGAN：生成对抗网络背后的数学原理（一）...

最新推荐文章于 2024-07-28 09:04:53 发布
最新推荐文章于 2024-07-28 09:04:53 发布
阅读量713 收藏 2
点赞数 1
文章标签： wgan 不理解 损失函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39654823/article/details/113549498
版权
本文深入探讨了生成对抗网络(GAN)的数学基础，包括KL散度和JS散度，以及它们在GAN训练中的作用。文章还介绍了GAN训练中的挑战，如纳什均衡、低维支持和模式崩溃，并详细阐述了Wasserstein GAN如何通过Wasserstein距离改进训练稳定性。
摘要由CSDN通过智能技术生成

作者：

Lilian Weng

编译：Bot

本文解释了生成对抗网络(GAN)背后的数学原理及其难以训练的原因，并指出Wasserstein GAN是通过测量两个概率分部之间的平滑度来改进GAN训练的。

如今，生成对抗网络(GAN)已经取得了不少大型成果，它可以复制真实世界的丰富内容，如图像、语言和音乐等。它受博弈论启发：两个模型，一个生成器，一个判别器，两者在相互竞争的同时又相互扶持、共同进步。但是训练GAN并不是一件容易的事，因为自Ian Goodfellow提出这个概念以来，它就一直存在训练不稳定、容易崩溃的问题。

在这里，我想介绍一下GAN背后的数学原理及其难以训练的原因，并引入2017年FAIR提出的Wasserstein GAN，谈谈它是怎么在数学上实现突破性改进的。

KL散度和JS散度

生成对抗网络(GAN)

D的最佳值

什么是全局最优

损失函数代表什么

GAN的问题

很难达成纳什均衡

低维支持

消失的渐变

模式崩溃

缺乏一个适当的评估指标

改进GAN的训练

Wasserstein GAN(WGAN)

什么是Wasserstein距离

为什么Wasserstein比JS、KL发散更好

把Wasserstein距离作为GAN的损失函数

示例：用GAN生成新的宠物小精灵(pokemon)

参考文献

KL散度和JS散度

在开始介绍GAN之前，我们先来回顾这两个描述概率分布差异的概念：KL散度和JS散度

最低0.47元/天 解锁文章
weixin_39654823
关注
生成式对抗网络(GAN)的数学原理与实现
程序员光剑
04-07 862
生成式对抗网络(Generative Adversarial Network, GAN)是近年来机器学习领域最具影响力的创新之一。它由Ian Goodfellow等人在2014年提出,通过让两个神经网络相互对抗的方式来学习生成符合真实数据分布的样本。GAN在图像生成、风格迁移、超分辨率等领域取得了突破性进展,引发了学术界和工业界的广泛关注。本文将深入探讨GAN的数学原理和实现细节,希望能够帮助读者全面理解这一重要的机器学习模型。GAN作为机器学习领域的一项重大创新,在过去几年里取得了令人瞩目的进展。
生成对抗网络 (GAN) 原理与代码实例讲解
程序员光剑
07-22 1025
生成对抗网络 (GAN) 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 生成对抗网络（GAN）、深度学习、无监督学习、生成模型、图像合成、数据增强
GAN是一种特殊的损失函数？
阿里云云栖号
12-21 2194
数据科学家JeremyHoward在fast.ai的《生成对抗网络（GAN）》课程中曾经讲过这样一句话： “从本质上来说，生成对抗网络（GAN）是一种特殊的损失函数。” 你是否能够理解这句话的意思？读完本文，你会更好的理解这句话的含义。 神经网络的函数逼近理论 在数学中，我们可以将函数看做一个“机器”或“黑匣子”，我们为这个“机器”或“黑匣子”提供了一个或多个数字作为输入，则会输出一个或...
GAN: 原始损失函数详解
weixin_30377461的博客
12-01 1978
　　GAN的原始损失函数，咋一看是非常难以理解的，但仔细理解后就会发现其简洁性和丰富的含义。 　　损失函数定义： 　　　　 　　一切损失计算都是在D（判别器）输出处产生的，而D的输出一般是fake/true的判断，所以整体上采用的是二进制交叉熵函数。 　　左边包含两部分minG和maxD。 　　首先看一下maxD部分，因为训练一般是先保持G（生成器）不变训练D的。D的训练目标是正确区分f...
GAN损失函数和JS散度的关系
Miclear的博客
07-11 609
判别器是要给生成图像低分，给真是的图像高分，带入到上面式子中，第一项中f给生成的图像低分，会让第一项更小，第二项中f给真实图像打高分，这也让第二项更小。在GAN的优化过程中，判别器的优化目标可以被理解为在最小化JS 散度的过程中，使得判别器能够有效地区分真实数据分布 ( P_data ) 和生成数据分布 ( P_G )，从而推动生成器生成更真实的数据样本。这里也是加了负号的，上面说到，要把判别器损失函数最大化，加了负号后，就是最小化问题了，这是符合对损失函数的理解的。zj：正态分布中随机生成的数据。
wgan 不理解 损失函数_GAN损失函数||WGAN
weixin_39996234的博客
12-21 482
1.损失函数第一项主要是针对真实样本的，第二项是针对生成样本的损失。//判别器是尽可能地判别出是真实数据还是生成数据，我一直以为是尽可能判别不出呢。。。2.训练过程可以看到是先确定G，优化D，确定了优化D之后，再优化G，然后循环进行上面的过程。3.GAN的缺点当固定Generator时，最优的Discriminator是在面对最优Discriminator时，Generator的优化目标就变成了如...
GAN的损失函数
我の博客
01-08 7342
在训练过程中，生成器和判别器的目标是相矛盾的，并且这种矛盾可以体现在判别器的判断准确性上。生成器的目标是生成尽量真实的数据，最好能够以假乱真、让判别器判断不出来，因此生成器的学习目标是让判别器上的判断准确性；相反，判别器的目标是尽量判别出真伪，因此判别器的学习目标是让自己的判别准确性。当生成器生成的数据越来越真时，判别器为维持住自己的准确性，就必须向辨别能力越来越强的方向迭代。当判别器越来越强大时，生成器为了降低判别器的判断准确性，就必须生成越来越真的数据。在这个奇妙的关系中，判别器判断的准确性由。
对抗生成网络（GAN）中的损失函数
热门推荐
L888666Q的博客
11-10 1万+
L1损失函数又称为MAE(mean abs error)，即平均绝对误差，也就是预测值和真实值之间差值的绝对值。 L2损失函数又称为MSE(mean square error)，即平均平方误差，也就是预测值和真实值之间差值的平方。
生成对抗网络GAN（ Generative Adversarial Networks）63PPT，GAN原理，介绍，变体详细
11-22
研究者提出了多种GAN的变体，如 Wasserstein GAN（WGAN）、Least Squares GAN（LSGAN）、Conditional GAN（CGAN）等，这些变体通过调整损失函数或引入额外的条件信息来改善GANs的训练稳定性和生成质量。 GANs在许多...
图像处理之图像复原算法：深度学习去噪：生成对抗网络（GAN）去噪技术
最新发布
kkchenjj的博客
07-28 1201
生成对抗网络（Generative Adversarial Networks，简称GAN）是一种深度学习模型，由Ian Goodfellow等人在2014年提出。GAN由两个神经网络组成：生成器（Generator）和判别器（Discriminator）。生成器的目标是生成与真实数据分布相似的数据，而判别器的目标是区分生成器生成的数据和真实数据。这两个网络通过对抗的方式共同学习，最终生成器能够生成高质量的、与真实数据难以区分的合成数据。
Gan损失函数问题
思维缜密的博客
08-25 1775
生成器G(x)G(x)G(x) 鉴别器D(x)D(x)D(x) rrr是真实的数据 zzz是噪声 ggg是生成器的分布 鉴别器损失函数 设为公式（1） lossD(x)=−Ex∼pr(x)(log⁡(D(x)))−Ez∼pz(z)(log⁡(1−D(G(z))))=−Ex∼pr(x)(log⁡(D(x)))−Ex∼pg(x)(log⁡(1−D(x))) \begin{aligned} &\quad loss_{D} \left(x \right )\\ &=- E_{x \sim p_{r}
GAN 网络的损失函数介绍代码
tony365的博客
03-07 1811
pixel_opt:相比于一般的l1 loss多了 loss weight, reduction, weight三个功能。首先loss_util.py文件定义weight_lossArgs:Returns:"""else:Args:Returns:"""else::Example:tensor(3.)"""loss = loss_func(pred, target, **kwargs) # 这里 reduction='none'接下来定义带weight的L1 loss。
gan网络通用损失函数解读
pangxing6491的博客
07-27 1096
https://www.cnblogs.com/walter-xh/p/10051634.html
​GAN损失函数
AI生成式技术曾小健
05-26 424
此时右边只有第二项有用， G希望自己生成的图片“越接近真实越好”，能够欺骗判别器，即D(G(z))尽可能得大，这时V(D, G)会变小。在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z)) = 0.5。公式左边V(D,G)表示生成图像和真实图像的差异度，采用二分类(真、假两个类别)的交叉熵损失函数。D(x)代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片。交叉熵损失V(D,G)
gan网络损失函数_GAN论文阅读笔记1：从零推导GAN
weixin_29870701的博客
12-27 932
生成式对抗网络（GAN, Generative Adversarial Networks ）毫无疑问是近几年来较为火热的生成模型。其核心思想非常简单：引入对抗的概念，让两个网络——生成器网络（Generator）和判别器网络（Discriminator）互相对抗。0. 符号定义在介绍GAN之前，先简要介绍一下符号定义和必要的概念。记生成器为 ，判别器为 ，真实（real）数据分布为 ，高斯随...
关于GAN的损失函数理解
qq_38140273的博客
04-16 2267
其中判别器尽量大，因为第一项为真实值，第二项为负相关递减 而生成器第二项尽量小，因为也是负相关G(x)要尽可能大
wgan 不理解 损失函数_WGAN学习笔记
weixin_33443972的博客
01-30 2676
GAN自从被提出之后就受到了广泛的关注，GAN也被逐渐用于各种有趣的应用之中。虽然GAN的idea对研究者们有着巨大的吸引力，但是GAN的训练却不像普通DNN那样简单，generator和discriminator之间的平衡，训练过程中没有很好的指标度量训练效果成为了训练GAN的难点。WGAN的提出几乎完美解决了这两个问题。参考文章：原始GAN存在的问题要想知道原始GAN存在什么问题，我们先看一下...
Gan网络损失函数理解
SWLF的博客
09-18 4089
Gan网络的损失函数经常使用这条交叉熵损失函数，表示为： L(G,D)=∑E(logDd)+∑E[log(1−D(G(p)))]L(G, D) = \sum_{}^{}E(logD_d)+\sum_{}^{}E[log(1-D(G(p)))]L(G,D)=∑​E(logDd​)+∑​E[log(1−D(G(p)))]. 公式中的含义：G生成器，D判别器，d表示真实的数据，Dd表示判别器对真实数据的判别结果，G§表示生成的假数据，D(G§)表示判别器对于假数据的判别结果。 log函数在区间【0,1】之间的取值
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值