GAN的原理（李宏毅GAN笔记）

最新推荐文章于 2023-09-28 15:04:38 发布
原创 最新推荐文章于 2023-09-28 15:04:38 发布 · 2.1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客主要介绍了GAN在图像生成中的应用。图像生成任务是找到参数使原始数据集样本在G定义的概率分布中出现概率最大，可通过极大似然估计得到参数，使真实与生成图像的KL散度最小。还提到了discriminator及优化的损失函数，类似二分类交叉熵损失函数。

我们通常用GAN来做Gerneration。

对于一张图片x，其通常分布在高维空间中的一个流行上。在下图中，位于蓝色区域的点仅有很大的概率出现在我们的database中。

那么图像生成的主要任务是什么呢？

给定义原始数据的分布，再给定一个以\Theta作为参数的概率模型P_{G}(x,\Theta ),该模型可以由generator学习得到。我们希望的，便是找到相应的参数\theta，使得原始数据集中的样本x在由G所定义的概率分布P_{G}(x,\theta )中出现的概率尽可能大。

为了找到这样的参数，我们可以先从database中随机选出m个样本，并根据计算达到每个样本被生成的概率P_{G}(x^{\theta };\theta )，再将这m个样本对应的概率乘起来，即可得到相应的似然函数。

 进一步具体化似然函数，我们发现采用极大似然估计得到的参数\theta ^{*}，也恰好使得real image与generated image的KL散度达到最小。

我们的generator本质上是一个network，这个network定义了一个概率分布P_{G}(x)，我们希望的便是P_{G}(x)与P_{data}(x)尽可能的接近。问题在于该如何得到P_{G}(x)呢？ 

我们暂且放下先前的问题不管.我们把目光转向discriminator.

尽管我们不知道P_{G}(x)和P_{data}(x)的具体形式，但是我们可以对真实图片与生成图片进行采样。

对于一个给定的generator，我们希望优化的损失函数如下图，其形式非常类似与二分类问题中的交叉熵损失函数。 

 我们发现当真实图片与生成图片具有较小的divergence时，discriminator难以辨别真实图片和生成图片。但是当两者具有较大的diverg

 

 

 

 

 

关于李宏毅GAN课程的一些笔记
weixin_43463276的博客
06-22 253
这里只记录一些看完1-4课后，被解决的困惑们。 一、为什么使用GAN GAN有生成器G和判别器D。 能不能只用生成器？ 可以，但是需要的网络更大更深。 能不能只用判别器？ 可以，但最终生成的结果可能会很模糊。 二、条件GAN 比如有一些文本描述，辅助生成图像。 三、数学理论 需要注意的一些小细节。 G就是为了让生成数据的分布和真实数据分布是一致的，例如真实数据是一些图像，世界上所有的图像组成一个高维的空间，真实的图像只占其中一部分，我们假设它们是满足某个分布PdataP_{data}Pdata​的，所
GAN学习笔记-李宏毅：GAN Lecture 2 (2018): Conditional Generation
qq_31895943的博客
03-06 499
李宏毅老师讲解的GAN Lecture 2 (2018): Conditional Generation Conditional Generation: 可以操控要输出的内容，如输入文字产生图片(Text to image) Text to image 1）traditional supervised approach：训练数据是text+image，model产生出的图片都比较模糊，因为是...
李宏毅 GAN PPT
12-07
李宏毅 GAN PPT，很清晰，可以配合视频一起观看。效果更好
GAN（4）李宏毅——理论
duyue3052的博客
09-23 886
目录   1：找出图像的分布规律——生成器 1.1：之前的方法——最大似然估计 产生的图片非常非常模糊——这是由于高斯分布本身的表达能力有限 1.2：genorator网络，看做是概率分布——表达能力更高，判别器，看做KL优化 1：找出图像的分布规律——生成器   1.1：之前的方法——最大似然估计 用Pdata的取样，调整PG的参数，让PG接近Pdata。 只考虑P(D ...
GAN 李宏毅-课程笔记
qq_52736856的博客
09-28 276
用GAN的方式代替Seq2Seq的方式.将文本和摘要视为两个domain,依次来实现无监督的GAN.具体的实现和Cycle GAN类似.
GAN学习笔记-李宏毅：GAN Lecture1（2018）：Introduction
qq_31895943的博客
03-06 937
李宏毅老师讲解的GAN Lecture1（2018）：Introduction Github上一个总结GAN及其扩展的项目：[the-gan-zoo](https://github.com/hindupuravinash/the-gan-zoo) Outline Basic idea of GAN Basic idea of GAN Generator：a random vector t...
[李宏毅老师深度学习视频] 生成式对抗网络(GAN)【持续更新】
Bessie_Lee
08-26 1606
在李宏毅老师的视频中，并没有一开始就讲解什么是GAN，他先引入一个问题，为什么会有生成式对抗网络呢？他采用了一个小游戏进行介绍。游戏说明：一个小精灵可以从一个出发点出发到任意画面的位置去，我们根据小精灵的到达位置去训练一个network模型，从而预测到小精灵的位置。然而，出现了一个很离谱的画面：小精灵在转弯的时候居然分裂成了两个，还带上了虚影（？？这是什么离谱位置，转弯不成，直接分裂人物？？）为什么会有这种分裂的问题出现呢？...
2021李宏毅机器学习笔记--23 Theory behind GAN
guoxinxin0605的博客
09-05 629
2021李宏毅机器学习笔记--23 Theory behind GAN摘要一、Maximum Likelihood Estimation(最大似然估计)二、MLE=Minimize KL Divergence（最小KL散度）三、Generator四、Discriminator五、D*和divergence的关系证明六、知识回顾:KL散度、JS散度和交叉熵七、G*的目标八、GD Algorithm for GAN九、In practice(实做中)十、Algorithm for GAN总结 摘要 本章节主
GAN学习笔记-李宏毅：GAN Lecture 3 (2018): Unsupervised Conditional Generation
qq_31895943的博客
03-06 594
李宏毅老师讲解的GAN Lecture 3 (2018): Unsupervised Conditional Generation 类似于风格转化的task 两类方法： 1）直接转：只能进行小改，input和output间差距较小（如颜色或纹理转化） 2）投射到公共空间：input和output间差距较大（真人转化为动画人物） Direct Transformation 存在问题-Ge...
李宏毅GAN 学习笔记3 -- Unsupervised Conditional Generation
s1nnix的博客
12-11 519
Unsupervised Conditional Generation 无监督的条件GAN网络，简单来说就是给出两堆data（data之间没有任何的关联），machine自己学到怎么从一堆转到另外一堆。 有两种方法，第一种是Direct Transformation，直接进行转换，这种方法适用于input和output的差别比较小，比如说是颜色或者风格上的变化。 具体实现： 第二个是Projection to Common Space，这种方法适用于比较复杂的转换，就不仅仅是简单的改改颜...
李宏毅 -生成对抗网络GAN课件 234页
11-30
李宏毅 -生成对抗网络GAN课件 234页 李宏毅 -生成对抗网络GAN课件 234页
李宏毅GAN学习笔记（02）
RookieFCB的专栏
03-30 497
GAN Lecture 2 Conditional Generation by GAN Algorithm In each traing iteration: Sample m positive examples {(c1,x1),(c2,x2),…,(cm,xm)}\{(c^1, x^1), (c^2, x^2), \dots, (c^m, x^m)\}{(c1,x1),(c2,x2),…...
李宏毅GAN学习笔记
qq_43751506的博客
04-25 509
GAN生成对抗网络是近几年来最酷的技术，可以做到影像生成。 GAN中的生成器是输入任意一个向量，输出一张图像。输入向量的每个值可能代表着输入图像的某个特征。 GAN不但有生成器，还有一个判别器。输入一张图像，然后对这张图像进行评价这张图像是否真实。 生成器和判别器不断对抗而进化，生成器为了骗过生成器而不断生成更逼真的图像，而判别器也会不断进化使得能够判断出生成器生成的图片。 首先初始化生成...
GAN 李宏毅 课程笔记（一）
hn_lgc的专栏
09-01 519
Generator 不用想得太复杂，就是一个函数。函数的形式可以是NN。 输入一个向量，这个向量可以看成一个控制向量，用向量中的元素表示生成对象的属性。生成对象可以是不同的东西，图片矩阵，文字序列都可以，需要具体控制。 这可以弄出一个有趣的应用，通过改变输入向量，生成人脸渐变的中间图像。 比如用向量中的第一个元素表示头发的长度，导数第二个表示头发的颜色。 一样的，判别器也可以看成一个函数，可以是NN。它的输入是前面生成的对象，比如一张图片。输入是一个数字，就是生成对象的逼真程度，符合程度。 GAN的原
李宏毅机器学习GAN的笔记
XiaoQiXiaoWei_J的博客
01-27 2963
搜索网页以及视频，对GAN的笔记，仅供参考，加入了很多自己的理解
李宏毅GAN学习笔记（二）
qq_43751506的博客
04-29 279
假如没有判别器的时候，其实也可以做到图像生成，这就是自动编码器，首先输入图像，然后经过一个网络训练输出一个向量，这就是编码。然后再训练一个网络，他可以根据生成的编码还原出真实图像，而我们训练的目标就是还原图像和原图像尽可能接近，这个过程就是解码。而这个Decoder，其实就是一个生成器。 自动编码器却存在一些问题，例如一个向左的1的编码和一个向右的1的编码取平均并不一定是一个正的1，因为神经网...
李宏毅教授GAN课程笔记总结
weixin_42825220的博客
07-25 874
GAN 参考文献： 受限玻尔兹曼机也是生成模型 自编码机： 所学得的NN Decoder可以将一个任意生成的向量生成为一张图片 VAE(Variational Auto-Encoder)变分自编码器： 为了不使σ 为0，因此加入限制： 目的是为了使得m越接近0越好，相当于L2的正则化，而前一项也越接近0越好 缺点：没有真正去模拟一张图片，无法达到和...
P11机器学习--李宏毅笔记GAN（对抗生成网络）
u013373155的博客
11-13 1396
GAN的基本概念 GAN的训练方法 训练GAN的目标 Model Collapse Model Dropping 计算多样性 Conditional GAN Condtitional GAN+Supervised learing cycle Gan
李宏毅机器学习笔记：GAN
qq_43711697的博客
08-30 4957
前言 主要记录李宏毅机器学习2021中介绍GAN部分的笔记，从GAN的发展开始到GAN的基本理论再到GAN生成的评价方法最后到介绍流行的GAN方法。 一、GAN的基本介绍 GAN的全名是Generative Adversarial Network生成对抗网络，其主要的目的是为了让训练机器让机器能够自主生成相对应类型的图片，其中生成器generator就是GAN中进行生成相对应类似分布的网络，而鉴别器Discriminator就是判别生成器生成是否为真假的网络，鉴别器通过将输入的图像转换成一个判别值来判断真
李宏毅机器学习笔记GAN
最新发布
02-11
### 李宏毅机器学习笔记中的GAN相关内容 #### GAN基本概念 生成对抗网络（Generative Adversarial Networks, GANs）由两个主要部分组成：生成器（Generator）和判别器（Discriminator）。生成器的目标是从随机噪声中生成逼真的样本，而判别器则试图区分这些生成的样本与真实的数据样本。两者通过相互竞争的方式共同训练，最终达到纳什均衡状态，在此状态下生成器能够生成几乎无法被识别出来的假样本[^4]。 #### 条件GAN的应用扩展 条件GAN是在标准GAN的基础上进行了改进，允许模型基于特定条件来控制生成的内容。具体而言，除了提供给生成器和判别器的标准输入外，还会附加一段描述期望特性的向量作为额外输入。这段向量可以是由文本转换而成的表示形式，从而指导生成过程按照指定的主题或风格进行创作。例如，可以通过输入一段文字说明让GAN创建具有相应属性的人脸图片；同样地，也支持利用语音信号引导图像合成任务。 #### 训练技巧与优化策略 为了提高GAN及其变体的有效性和稳定性，研究者们提出了多种辅助技术： - **Learning Rate Scheduling**: 动态调整学习率有助于改善收敛性能并防止过拟合现象的发生。一种常见的做法是采用Warm-Up机制——初期保持较低水平的学习速率以便充分探索损失曲面特性，随后逐步增加直至某个峰值后再缓慢降低，以此促进全局最优解的发现[^5]。 - **Regularization Methods**: 正则化手段如Dropout对于增强泛化能力至关重要。特别是在卷积神经网络架构下运用时，不仅能有效缓解过拟合风险，还能促使特征提取更加鲁棒可靠[^3]. ```python import torch.nn as nn class Generator(nn.Module): def __init__(self, input_dim=100, output_channels=3): super(Generator, self).__init__() # 定义生成器结构... def forward(self, z, condition_vector=None): # 实现前向传播逻辑... pass class Discriminator(nn.Module): def __init__(self, input_channels=3): super(Discriminator, self).__init__() # 定义判别器结构... def forward(self, image, condition_vector=None): # 实现前向传播逻辑... pass ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值