Paper Reading:Conditional GAN

已于 2022-06-02 14:58:06 修改
阅读量635 收藏
点赞数
文章标签： 深度学习 机器学习 python
于 2022-03-02 21:11:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yihool_/article/details/123228514
版权

​
1.概述：Conditional GAN可以利用图像与对应的标签进行训练并在测试阶段生成指定标签（类别标签、图像中的某个部分用于图像修复）的图像。

1.1 马尔科夫链 ：随即过程中，马尔科夫链认为过去的所有状态都被保存在现在的状态了。
​
Paper
1 . Introduction

对抗学习的优点是不用马尔科夫链，只需要反向传播梯度，在学习中不用推理。条件GAN的条件可以是类别标签、用于图像修复的数据的一部分或者不同模态（modality）的数据。

本文展示了如何构建CGAN，并为了检验结果在MNIST数据集和MIR Flickr25000数据集上进行多模态学习[multi-modal learning]。

More:多模态学习

2.Related Work

2.1 图片标签的多模态学习

尽管有监督学习网络（CNN为首）取得了不错的成果，但这些模型在面对类别数巨大的分类预测输出问题是仍有挑战。第二个问题是许多数据工作主要在学习从输入到输出的一对一映射（one-to-one mappings）。然而，许多问题是概率上的一对多映射。一个例子就是在图像标签问题上，可以合适得给一张图片分配很多不同的标签，而对于不同的注解者可能使用不同的术语（一般是相近或者相关联的）或表达方式来描述同一张图片。

对于第一个问题，一个办法是利用（leverage）附加信息。举个例子,使用自然语言集合学习一个标签的向量表示，这个向量中的几何（geometric）关系具有语义含义。这个方法的优势在于，在这样的空间中做预测，当预测错误时结果仍然很靠近真实标签，并且可以自己生成在训练时没有出现的标签。引用[3]展示了甚至一个从图片特征空间到词汇表示的简单线性映射就可以表现出更好的分类性能。

对于第二个问题，可以使用条件概率生成模型，将输入视为条件变量，一对多的映射被实例化(instantiated)为一个有条件的预测分布。

[16]使用简单的方法来解决这个问题，并在MIR Flickr25000数据集上训练了一个多模态深度玻尔兹曼机，本文也这么做了。

另外，[12]中作者展示了证明训练一个有监督多模态神经语言模型，它们能够为图片生成描述语句。

3.Conditional Adversarial Nets 条件生成网络

3.1 GAN
条件生成网络由两个生成模型组成：生成模型G用来接受数据分布，辨别模型D估计来自训练样本而不是生成图片的概率。生成器和判别器都是非线性映射，比如多层感知机（multi-layer perceptron）

为了学习在数据x上生成器分布pg，生成器建立了一个从初始噪声分布pz(z)到数据空间G(z;θg)的映射功能。并且判别器，D(x;θd)，输出一个标量来表示x是来自训练数据而不是生成数据的概率。
生成器和判别器同时训练。对于G，最小化参数使log(1 - (D(G(z))))最小，对于D，调整参数使log(D(X))最小化。
3.2 条件对抗网络
在将额外的信息y输入GAN的生成器和判别器，得到条件模型。y可以是辅助（auxiliary）信息，比如类别标签或者其他模态的数据。可以将y当作附加的输入层输入生成器和判别器。
在生成器中原始输入噪声为pz(z)，y被以结合隐式表示组合起来(combined in joint hidden representation)，对抗训练框架允许更加灵活的方式来进行这种隐式表示。
在判别器中，x和y被当作输入来进行判别。
CGAN的损失函数如下：
​​在这里插入图片描述
4. 实验结果
4.1 单峰
用MINST数据集和类别标签进行训练CGAN，将类别标签编为one-hot向量。
在生成网络中，从hypercube中提取一个均匀分布(uniform distribution)作为100维的噪声初始分布z。z和y都被ReLU映射到隐藏层，层大小分别为200和1000，在映射到第二层前，将隐藏的ReLU层组合为1200维。接着通过一个sigmoid层当作输出，生成784维的和MINST样本大小匹配的样本。
脚注：现在我们只是使用条件输入和初始噪声作为MLP的单一隐藏层的输入，但也可以想象使用更多层的方式来实现复杂的生成机制，但这种生成机制在传统的生成框架里极其难运行。

判别器将x映射到带有240个单元和5块的最大输出层，将y输入有50个单元和5块的最大输出层(maxout layer??)。在输入sigmoid层之前，两个隐藏层都映射到相连的maxout layer，这层带有240个单元和4块。（只要有足够的性能，判别器的结构是否严谨就没有那么重要，我们发现maxout单元能够很好的适配这个任务）
More：maxout layer

使用100的mini-batch和随机梯度下降，学习率初始化为0.1，然后以指数方式（exponentially）减小到0.000001，衰减因子为1.00004。动量初始值为0.5，然后增至0.7。Dropout的概率为0.5，分别应用于生成器和判别器上。以验证集上的最佳对数似然估计作为停止点。

表1 略

条件对抗网络的结果超越了一些网络，但表现也逊于其他网络，包括非条件的对抗网络。此结果更多的是证明概念而不是其性能，在之后对超参数空间的和结构探索中条件模型应该会超越非条件模型的结构。

4.2 多模态
像Flickr这样的图片网站有非常丰富的带标签数据资源，以图片和它们相关联的用户生成元数据(User-generatormetadata,UGM)的形式出现，特别是用户标签。
用户生成元数据不同于有标准标签（canonical）图片，前者跟具有描述性，并且在语义上跟接近人们怎么用自然语言描述图片而不是仅仅确定目标在图片中是否存在。UGM的另一个方面是synoymy很常见(prevalent)，并且不同的用户可能使用不同的词汇来描述同一个概念，因此，有一个高效的方式去正则化这些标签很重要。概念词汇嵌入(Conceptual word embeddings)在这里很有用处，因为相关概念最终被相似的向量表示。

这节我们做了图片的多标签预测的自动标签，利用条件对抗网络来生成一个（也可能是多模态）的在图片特征上的条件标签向量分布。

提前在带有21000个标签的全ImageNet数据集上训练好图片特征，卷积模型与[13]中的类似。使用最后带有4096个单元的全连接层的输出结果作为图片表示。

对于词汇表示，先从YFCC100M的数据集元数据中，聚集彼此相关联的用户标签、标题和描述，得到一个文本语料库。在预处理和文本清洗后训练一个连续跳跃元语法(skip-gram)模型，这个模型有大小是200的词向量。其中省略了包含任意出现次数少于200次的单词的词向量，最终得到大小为247465的字典。

在训练对抗网络过程中保证卷积模型和语言模型的固定性。

为了评价模型性能，对每个图片生成100个样本，并对每个样本使用词汇中单词表示向量的余弦相似，最后找到20个最接近的单词。然后选择100个样本中前十个最常见的单词。表4.2展示了一些用户分配的标签和注释以及生成的标签。

模型性能最好的生成器接受了100维的高斯噪声作为初始化噪声并把它映射为500维后输入ReLU层（？映射到500维的ReLU层）。接着将4096维的图片特征向量映射为2000维的ReLU隐藏层。然后这些层都将映射到相连的200维线性层，线性层将会输出生成的词向量。

判别器由500和1200维的ReLU隐藏层组成，分别对应于词向量和图片特征。下一层是1000个单元和3块的maxout层，其输出最终输入至单一sigmoid单元。

训练模型使用随机梯度下降，mini-batch大小为100，初始学习率为0.1，后以指数形式减小为0.000001，衰退率为1.00004。动量为0.5，后增长至0.7。生成器和判别器都使用0.5的Dropout。

通过交叉验证和随即网格搜索及人工选择的混合，得到超参数和网络结构选择。

5 . Future work
本文展示的结果非常初级，但证实了条件对抗网络的潜力并展示了有趣和实用的应用。

在未来的探索中期待更复杂、细节更多的模型，分析它们的表现和性能。

现在我们的实验中只单独使用每个标签。但通过同时使用多重标签（有效地将集合问题作为生成集合问题中的一个）希望得到更好的结果。

另外一个未来工作的方向是构建一个联合训练方案（joint training scheme）去学习语言模型。[12]的工作显示能够学习到一个适配特定任务的语言模型。

Coding

1.噪声和标签如何一起输入生成器；生成器生成的图片和标签以同样的方法输入到判别器

 img = Input(shape=self.config.discriminator_image_input_dim)
 label = Input(shape=(1,), dtype='int32')
 label_embedding = Flatten((Embedding(self.config.conditional_label_num,
  							np.prod(self.config.discriminator_image_input_dim))(label))
 #(n,28*28*1)
 flat_img = Flatten()(img)
 #(n,28*28*1)
 #keras.multiply接受两个shape相同的张量，并返回逐元素积
 model_input = multiply([flat_img, label_embedding])
 validity = model(model_input)

因为标签(1,)和输入噪声(,28,28,1)的形状不同，先通过Embedding将1维的标签映射为(,28281)，将噪声也拉平为(,28281)，形状相同后将两张量的对应元素相乘成为一个张量，输入generator().

Alrick Meng
关注
dalle2：hierarchical text-conditional image generation with clip
liguandong
08-04 4501
产生的文本编码输入到第一个prior模型中，这是一个扩散模型，也可以用自回归的transformer，这个扩散模型输出一组图像vector，这时候通过经过clip产生的图像vector进行监督，此处其实是一个监督模型，后面是一个decoder模块，在以往的dalle中，encoder和decoder是放在dvae中一起训练的，但是此处的deocder是单训的，也是一个扩散模型，其实虚线之下的生成模型，是将一个完整的生成步骤，变成了二阶段显式的图像生成，作者实验这种显式的生成效果更好。............
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5000
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
GAN系列：李宏毅老师GAN课程P2+P3——Conditional GAN
lynlindasy的博客
02-23 2759
看这个课程的时候，有弹幕说P1后直接看P4，然后再看P2和P3，这个顺序确实更好一点。这部分主题是条件GAN(Conditional GAN)，所谓的条件就是我们对要生成的图片的要求和限制。之前生成器的输入是一个随机噪声向量，生成器根据向量产生任意的图像。在实际应用中，产生的图像一般是有特定限制的，比如要产生火车的图像，人脸的图像等。因此Conditional GAN更有实用价值。Conditio...
李弘毅老师GAN笔记（二），Conditional GAN
热门推荐
taoyafan的博客
07-27 2万+
本文记录的是李弘毅老师的GAN的第二节课，bilibili视频链接为：https://www.bilibili.com/video/av24011528/?p=2，相关的课程课件链接为：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2018/Lecture/CGAN.pdf 目录 1 什么是 Condition GAN 2 Cond...
解释下不同Gan模型之间的异同点
最新发布
Rory的博客
09-17 757
相同点所有 GAN 模型都基于生成器和判别器之间的对抗性训练机制。基本目标是让生成器生成的样本尽可能接近真实样本，同时让判别器能够有效地区分真实样本和生成样本。不同点损失函数：不同的 GAN 变体使用了不同的损失函数和衡量标准来改进模型的训练稳定性和性能，如 WGAN 使用 Wasserstein 距离，WGAN-GP 使用梯度惩罚。网络结构：DCGAN 引入了卷积网络，StyleGAN 引入了风格模块，PGGAN 逐步增加图像分辨率。特定任务优化。
conditional GAN
weixin_42137840的博客
02-24 610
李宏毅老师的GAN课程笔记 李宏毅老师主页： http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html    
Conditional GAN
null的专栏
05-07 1191
1. 概述 GAN的出现为数据生成提供了一种新的思路，以图像生成为例，在GAN框架中，不再需要其他复杂的操作，如Markov Chain等，只需要对定义好的网络进行backpropagation即可完成生成网络的训练。在原始的GAN框架中，包括了两个部分，分别为生成网络（Generator）GGG和判别网络（Discriminator）DDD，其中生成网络（Generator）GGG用于生成图片，判别网络（Discriminator）DDD用于判别一张图片是否是真实的。通过不断提高生成网络GGG的生成质量，
GAN, DCGAN, cGAN Paper Reading
PellyDu的博客
05-23 525
GAN: Generative Adversarial Nets 1. traditional GAN 2014 Paper:https://arxiv.org/pdf/1406.2661 Understanding: E.g. From noise to real image. Generator: G(z;θg) Input:noisez; Output:generatedimageG(z). Discriminator: D(x;θd) Input:gener...
只看了标题的paper
zsf2951186806的博客
06-07 950
Break the Ceiling: Stronger Multi-scale Deep Graph Convolutional Networks 标题：打破天花板：更强大的多尺度深图卷积网络 作者： Sitao Luan, Doina Precup 备注：Submitted to NeurIPS 2019 for review 链接：https://arxiv.org/abs/190...
计算机视觉学习资料汇总（超多干货）
qq_29462849的博客
12-21 3908
前言 本资料首发于公众号【3D视觉工坊】，更多干货请关注公众号后台回复关键字获取~ （一）基础操作 Linux 学习网站 Linux中国：https://linux.cn/ 鸟哥的linux私房菜：http://linux.vbird.org/ Linux公社： https://www.linuxidc.com/ 学习书籍 《鸟哥的Linux私房菜》 《Linux命令行与shell脚本编程大全》 ...
Conditional GAN (CGAN)
u014513863的博客
05-08 477
Conditional GAN不是随机生成图像，而是根据我们需要的label生成图像： 代码： import numpy as np import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import matplotlib.pyplot as plt import os ...
四天搞懂生成对抗网络（二）——风格迁移的“精神始祖”Conditional GAN
百度大脑
11-14 4956
点击左上方蓝字关注我们【飞桨开发者说】吕坤，唐山广播电视台，算法工程师，喜欢研究GAN等深度学习技术在媒体、教育上的应用。从“自由挥洒”到“有的放矢”1、给GAN加个“按钮”上一篇《四天...
机器学习-36-GAN-03-Conditional GAN(有条件的GAN)
迷雾总会解
01-14 8447
Conditional，意思是条件，所以 Conditional GAN 的意思就是有条件的GAN。Conditional GAN 可以让 GAN 产生的结果符合一定的条件，即可以通过人为改变输入的向量（记不记得我们让生成器生成结果需要输入一个低维向量），控制最终输出的结果。
Conditional GAN (CGAN) 条件生成网络
hxxjxw的博客
09-03 1015
Conditional GAN = Conditional Generation by GAN Conditional GAN和GAN的Generator是一样的，差别就是在Discriminator 我们学过GAN，GAN的主要作用是用来做生成对象。输入向量，得到对应的对象，但是生成的对象无法控制 举一个文本生成图像的例子，Text-to-Image 用传统的做法，即Traditional supervised approach，怎么做？ 以上是数据的...
ConditionalGAN（CGAN）介绍及实现图像转图像生成应用
weixin_44814867的博客
07-03 8482
ConditionalGAN（CGAN）介绍及实现图像转图像生成应用一.ConditionalGAN框架理解二.StackGAN，PatchGAN框架理解三.复现ConditionalGAN论文四.实现图像转图像生成应用二级目录三级目录 一.ConditionalGAN框架理解 二.StackGAN，PatchGAN框架理解 三.复现ConditionalGAN论文 四.实现图像转图像生成应用 二级目录 三级目录 ...
使用pytorch构建有监督的条件GAN(conditional GAN)网络模型
weixin_45354497的博客
04-07 1398
GAN网络系列的第四篇，使用pytorch构建有监督的条件GAN(conditional GAN)网络模型
Conditional GAN 浅析与实现
weixin_41431170的博客
10-10 1294
Conditional GAN 浅析与实现
std::conditional
12-24
`std::conditional`是C++标准库中的一个模板类，用于根据条件选择不同的类型。它接受一个布尔值作为模板参数，如果该布尔值为true，则选择第一个类型作为结果类型，否则选择第二个类型作为结果类型。 以下是`std::conditional`的使用示例： ```cpp #include <iostream> #include <type_traits> int main() { const int len = 4; typedef std::conditional<sizeof(short)==len, short, std::conditional<sizeof(int)==len, int, std::conditional<sizeof(long)==len, long, std::conditional<sizeof(long long)==len, long long, void>::type>::type>::type int_my; std::cout << sizeof(int_my) << '\n'; // 输出：4 return 0; } ``` 上面的代码根据不同的字节数选择不同的整型类型，并输出所选择的类型的字节数。 另一个稍微复杂一些的例子是： ```cpp #include <iostream> #include <type_traits> constexpr int sign = 10; void TestCond() { std::conditional<(sign > 100), double, std::conditional<(sign > 80), float, std::conditional<(sign > 40), int, char>::type>::type>::type var; std::cout << "cur type is:" << typeid(decltype(var)).name() << std::endl; } int main() { TestCond(); // 输出：cur type is: int return 0; } ``` 上面的代码根据不同的条件选择不同的类型，并输出所选择的类型的名称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值