【吴恩达GANs】【C1W4】Conditional & Controllabel Generation

最新推荐文章于 2024-11-16 21:36:47 发布

Ziy.

最新推荐文章于 2024-11-16 21:36:47 发布

阅读量616

点赞数

文章标签：算法人工智能机器学习

本文链接：https://blog.csdn.net/yzy144121/article/details/131021586

版权

文章探讨了生成对抗网络(GANS)中的条件生成概念，允许指定类别的生成。它提到条件生成需要标注数据集，并详细解释了生成器和鉴别器的输入。文章还讨论了可控生成、Z空间中的向量代数问题，如特征相关性和Z空间纠缠，以及如何使用分类器梯度来改进特征控制。最后，提出了解纠缠作为解决Z空间纠缠的方法。

摘要由CSDN通过智能技术生成

视频链接：吴恩达DeepLearning.ai之生成对抗网络（GANS）专业化〔Andrew Ng〕

4-2 Conditional generation intuition

Unconditional Generation：从随机类中得到输出，每次输出的类也都是随机的，无法得到指定输出类。
Conditional Generation：允许生成指定的类。如下图，就像自动售货机

总结：

Conditional Generation需要标注的数据集，可以从选择的类中生成实例
在这里插入图片描述

4-3 conditional generation inputs

Generator Input：Noise vector（指定类中的随机实例）+one-hot vector（指定类，也叫class vector）
Discriminator Input： feature（图片等） + label（描述该feature的标注信息）
- 若feature和label可以对应，则Discriminator输出的打分高
- 若feature和label不对应，则Discriminator输出的打分低
  
  以上图为例，其中Discriminator的输入实际为image+one-hot matrix（注意这里为了和image channel对应，是matrix而不是vector），而该种image又有3通道，即Discriminator的输入如下图所示：

总结：

类信息以one-hot vector形式传给generator，以one-hot matrix形式传给discriminator
vector长度 = matrix个数 = 类数量

4-4 Controllable generation

调整输入Generator的noise可以得到特征不同的输出
Controllable Generation和Conditional Generation的对比：

4-5 Vector algebra in the z-space

z1和z2是z-space中的两个维度，v1=[5,10]，v2=[4,2] 是z-space中的两个向量，g(v1)和g(v2)生成的两张图像如下。如果想得到这两张图像的中间值（通过这些中间值可以看到这两张图像相互转换的中间过程），可以在z1和z2维度中对v1和v2进行中间插值
在这里插入图片描述
那么一旦我们找到了从一个特征到另一个特征的矢量d，就可以从一张图像g(v1)生成另一张g(v1+d)

4-6 Challenges with controllable generator

Feature correlation：有的特征和其他特征是有相关关系的，比如给不能给女生加上胡子，而是需要将其性别调整为男性之后再添加胡子
Z-space Entanglement
由Feature correlation导致的Z-space中的特征纠缠问题，即若想改变输出的某一特征，不能只改变noise vector中的一项，即需要改变noise vector中的多项，而这又会导致输出的其他特征发生改变。特别是当噪声 z 维度不够时，就更容易发生z-space entanglement。

总结：

当我们试图去改变一个特征，其他关联特征也会被改变。当z维度不够时会发生Z-space entanglement问题，使得特征控制问题变得困难。

4-7 Classifier gradients

如下图所示，g(noise)生成一个图像后，用pre-trained classifier来识别该图像内容的特征（在这里是图像中的人是否佩戴了太阳镜），classifier返回的识别结果再用来修改noise vector z的值，而不用修改Generator的权重值。其中每一张被归类为“没有佩戴太阳镜”的图像都会受到梯度惩罚，重复以上过程直至Generator生成的图像中的人都是佩戴了太阳镜
在这里插入图片描述

在这里插入图片描述

总结：

classifier可以找到改变某一特征的方向，即4-8中从v1到v2的方向矢量d。这一过程中只更新noise vector的值。

4-8 Disentanglement

解决Z-space Entanglement需要改变一个向量的同时不改变其他向量。

解决方法一：将类信息嵌入到噪声向量中。但是这种方法会对连续类生成有问题
在这里插入图片描述
解决方法二：不给任何实例加标注，而是在损失函数是中加入一个正则化项，来鼓励模型将噪声向量中的每个索引与输出中的不同特征相关联。而这一正则化项可以来自classifier gradients或者其他无监督方法等。
在这里插入图片描述