PaperNotes(4)-高质量图像生成-CGAN-StackGAN-Lapgan-Cyclegan-Pix2pixgan

已于 2022-03-18 00:09:10 修改
阅读量859 收藏 11
点赞数 1
分类专栏： PaperNotes 文章标签： 计算机视觉 机器学习 深度学习
于 2020-10-07 13:41:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_40624829/article/details/108938876
版权

cgan,stackgan,lapgan,cyclegan,pix2pixgan


题记–如何生成高质量图像，gan相关模型调研

1.基于散度距离的改进方案：f GAN, LSGAN, WGAN, WGAN-GP, SNGAN

2.基于网络结构的改进方案：DCGAN， ImprovedDCGAN, SAGAN, BigGAN

3.由应用引发的改进方案：Conditional GAN, TripleGAN, StackGAN, LapGAN,PGGAN, SRGAN, CycleGAN,StarGAN

4.GAN在特征提取上的应用：InfoGAN，VAEGAN，BigGAN

1.Conditional GAN

Generative Adversarial Text to Image Synthesis [ICML 2016,http://arxiv.org/abs/1605.05396]

1.1简介

论文：

条件GAN–生成的数据不仅要求逼真，还要求满足一定的条件约束

文字约束–一只在奔跑的小狗；

图像约束–生成图像的框架轮廓约束，生成器就好像在轮廓的基础上填充了颜色，绘制细节；

1.2网络结构与训练

生成网络增加了条件输入；
判别网络用于判别生成的图像与条件是否匹配，因此其需要三种类型的匹配对（生成图像，匹配条件）（真实图像，匹配条件）（真实图像，不匹配条件）；
在这里插入图片描述
在这里插入图片描述
训练流程
在这里插入图片描述

1.3特点与用途

1.能生成符合条件的图像，但是现有数据集合成pair出现的很少；TripleGAN是基于 CGAN 的改进，主要用于解决配对数据少的问题，会训练一个图像标注模型。

2.不能生成大分辨率的高清图，图像细节缺失；StackGAN 也是基于 CGAN 的改进，它主要想C-GAN无法生成高清图的问题。

3.有一个观点：CGAN可以避免所有的随机噪声很产生相同的样本（模式坍塌问题），不同的条件，可以产生不同的图。

**思考：**条件要是文字形式的，会涉及到NLP，文字的表示方式；条件如果是图像，就是img2img的问题，类似于上色，填充简单细节。

参考博文：https://blog.csdn.net/taoyafan/article/details/81229466

2.Stack GAN

2.1简介

StackGAN 希望输入一个描述语 c，能够产生一张 256256 的清晰大图。通过两个阶段堆叠来实现这个过程。
第一个阶段输入（c,z）产生一个 6464 的小图x，
第二个节点输入（c,x）产生一个256*256的大图X

2.2网络结构与训练

在这里插入图片描述
由结构图可见，对于获得的 text_embedding，stackGAN 没有直接将 embedding 作为
condition，而是用 embedding 接了一个 FC 层得到了一个正态分布的均值和方差，然后从
这个正态分布中 采样 出来要用的 condition。这样做实际是做了一个降维处理，避免原始embeding高维稀疏，导致模型过拟合。（为了避免过拟合在生成器的loss上增加了一个正太分布的正则项）

两个阶段的损失函数为：
在这里插入图片描述

2.3特点与用途

1.Conditioning Augmentation（CA） 条件增强技术

2.StackGAN 不能处理比较复杂的文本，李飞飞小组提出方法能处理更长更复杂的文本，并且有不错的生成效果，论文地址：https://arxiv.org/abs/1804.01622。

思考：
1.要有同一张图像的6464，256256大小的真图。
2.感觉就像是两个Conditional GAN 简单的堆叠在一起，多增加了一个CA技术；
3.不要condition,直接级连的效果是不是等价于生成网络层数加深？设计合适的级连结构，应该能够生成合适大小的图像才对呀？尝试级连生成大分辨率的工作，在相关工作中应爱会介绍

参考博文：https://blog.csdn.net/a312863063/article/details/83574422

3.Lap GAN

3.1简介

生成高分辨率图像GAN模型的典型代表，利用拉普拉斯金字塔，由低分辨率生成高分辨图像。金字塔的每一层都是一个C-GAN，其中下一级图像的上采样图作为G的条件，生成本级真实图像与上采样图像的残差。

3.2网络结构与训练

采样流程图，自右向左分析
在这里插入图片描述
训练流程，自右向左分析
在这里插入图片描述

3.3特点与用途

1.能生成较高分辨率的图像，但是更高分辨率的图像可能使用PGGAN，或者超分辨率GAN效果会更好一些。

2.实际都是C-GAN 的堆叠，只是G的条件是上采样的图，生成真图和上采样的残差。

参考博文：https://zhuanlan.zhihu.com/p/94153155

4.Pix2pix GAN

4.1 简介

从风格迁移说起：在深度学习兴起后，16年有篇cvpr文章使用深度卷积网络做风格迁移。随着GAN网络研究热潮，人们开始研究使用gan 网络做风格迁移。以下五个是比较典型风格迁移的工作。
pix2pix GAN (1611)，CycleGAN (1703)，DiscoGAN (1703)，PAN（ Perceptual Adversarial Networks）感知GAN (1706)，StarGAN (1711)

pix2pix GAN 和 cycle GAN是同以作者，两篇递进式的工作。

pix2pix GAN工作出自Image-to-Image Translation with Conditional Adversarial Networks，实质还是用CGAN来做图像转换工作。

4.2 网络结构和训练

pix2pix gan 生成器和判别器的工作结构
在这里插入图片描述
pix2pix gan 损失函数，L1是True黑与生成黑的像素间l1范数距离。
在这里插入图片描述

4.3 特点和用途

1.pix2pix 主要做了G网络结构的探索：Encoder-decoder 结构和U-net结构，图像patch的操作

2.实质还是用CGAN来做图像转换工作。

参考博文：https://blog.csdn.net/on2way/article/details/78768221

5.Patch GAN

主要对判别网络做了改进，D输出N*N的矩阵，每个元素为True/False,表示输入图像中的感受野的真假。

思考：标签该怎么打？真实图像给一个NN的True块，生成图像给一个NN的False块？
主要是patch 操作？和pix2pix gan 中的patch有什么异同。

参考博文：https://blog.csdn.net/xiaoxifei/article/details/86506955
https://blog.csdn.net/weixin_35576881/article/details/88058040

6.Cycle GAN

6.1简介

用原始GAN结构在生成网络层数较深时，可能生成与输入差别较大的图像，就不是风格迁移，而是改头换面, 忽略了输入图像长什么样子。
在这里插入图片描述
为了防止生成器学习到具有欺骗性的造假数据，需要保证生成器的输出和原图具有很高的相似性，就可以不丢失原图的特征。

于是 CycleGAN 中加入了一个新的生成器，以第一个生成器的输出作为输入，希望输出一个和原始输入尽可能相似的图。如果能够还原回原始图片，可以表明第一个生成器的输出保留了大量原始图片的特征，输出结果是较为可靠的；而如果不能较好的还原回原始图片，意味着第一个生成器输出与输入差别较大。

6.2网络结构与训练

单向cycle gan
在这里插入图片描述
双向cycle gan（很多博文中都是这个结构）
在这里插入图片描述

6.3特点与用途

1.用来做风格迁移，在pix2pi的基础上不需要pair的训练样本。

2.CycleGAN 存在一种问题，是它能学会把输入的某些部分藏起来，然后在输出的时候再还原回来。比较好理解，隐藏掉一些破坏风格相似性的“坏点”会更容易获得判别器的高分。

思考：如何用实现图像分辨率扩大的功能？

参考博文：https://blog.csdn.net/on2way/article/details/78768221

7.思考与待定

做高分辨率的实验

1.cycle gan 似乎不是天生用来做分辨率变高的实验的。

2.直接使用stack GAN，梯度信息传不到前面–两个生成器具分开训练

3.CGAN的公式推导，如何与stein 变分合在一起–基本没啥好推导的。

4.直接级连不需要条件的GAN–基本上没有看到相关的文章

5.srgan 官网上提供了训练好的超分辨率模型，可以尝试一些图像的超分辨率生成。但如果原图是一团看不清的东西，基本也不了什么。

6.两个网络堆叠：两个网络同时训练的比两个网络分开训练难训。改造了stack gan stage2 的GAN模型（去除条件输入）堆叠模型在object101-airplane上表现好不错，但是在cifar上的效果还是基本看不出来画的是什么。

pg-gan，info gan 还没有看多

小陈同学-陈百万
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cGAN和pix2pix
qq_32172681的博客
06-23 2365
本文会介绍cGAN和pix2pix，并在 TensorFlow 中使用 pix2pix 模型。 一、cGAN原理 使用GAN可以无监督生成全新的图片，比如使用GAN生成MNIST数字，虽然可以生成数字，但是不能生成确定的数字。如果希望控制生成的结果，例如生成数字1，此时就要用到cGAN了。 cGAN 的全称为 Conditional Generative Adversarial Net...
cgan-face-generator：使用cGAN（pix2pix）模型从草图生成人脸
02-05
使用cGAN的人脸生成器（后端）我们提出并使用cGAN模型（ ）进行了实验，以从...要求在 3 ： pip install flask 所有培训部分均在git clone https://github.com/junyanz/pytorch-CycleGAN-and-pix2pixcd pytorch-Cycle
CycleGAN和Conditional GAN（cGAN）
m0_54741987的博客
06-17 500
例如，在图像生成任务中，通过提供类别标签，可以生成特定类别的图像。在图像到图像的转换任务中，可以通过条件信息控制转换的风格、特征等。训练过程中，生成器的目标是尽可能欺骗判别器，使得生成的图像在视觉上无法与真实图像区分开来。CycleGAN是一种无监督的图像转换模型，它可以在两个不同的图像域之间进行转换，而无需成对的训练数据。例如，它可以将马的图像转换为斑马的图像，或者将夏季景色转换为冬季景色。让我逐步介绍它们的原理和应用。生成器的目标是生成逼真的图像，并使得判别器无法准确区分生成的图像和真实图像。
Generative Adversarial Networks（CGAN、CycleGAN、CoGAN）
nakaizura
07-17 3389
很久前整理了GAN和DCGAN，主要是GAN的基本原理和训练方法，以及DCGAN在图像上的应用。其核心思想就是通过训练两个神经网络，一个用来生成数据，另一个用于在假数据中分类出真数据，并且同时训练它们使其收敛到某一点，那么在这个点上，训练好的生成器就可以生成“新的且真实”的数据。 Conditional Generative Adversarial Network (条件生成对抗网络，CGAN)...
深度学习-第G3周：CGAN｜生成手势图像
最新发布
weixin_43397208的博客
09-17 393
cGAN的中心思想是希望 可以控制 GAN 生成的图片，而不 是单纯的随机生成图片。具体来说，Conditional GAN 在生成器和判别器的输入中 增加了额外的 条件信息，生成器生成的图片只有足够真实 且与条件相符，才能够通过判别器。然而，通过额外的信息对模型进行约束，有可能指导数据生成的过程。条件约束可以是类标签 , 可以是图像修补的部分数据, 甚至是来自不同模态的数据。根据官方的说明：如果CUDA版本为10.2或更高，则少数CUDA操作不确定，除非设置了环境变量。
深度学习系列33：有标签的CGAN：Pix2Pix/Pix2PixHD/cycleGAN
kittyzc的博客
05-23 2127
1. 从GAN到CGAN GAN的训练数据是没有标签的，如果我们要做有标签的训练，则需要用到CGAN。 对于图像来说，我们既要让输出的图片真实，也要让输出的图片符合标签c。Discriminator输入便被改成了同时输入c和x，输出要做两件事情，一个是判断x是否是真实图片，另一个是x和c是否是匹配的。 在下面两个情况中，左边虽然输出图片清晰，但不符合c；右边输出图片不真实。因此两种情况中D的输出都会是0。 我们来看下简单的示例代码： import torch import torch.nn as nn
pytorch-CycleGAN-and-pix2pix-master
04-25
《PyTorch-CycleGAN-and-pix2pix-master：深度学习图像转换的探索》 PyTorch-CycleGAN-and-pix2pix-master是基于PyTorch实现的深度学习框架，用于执行一系列图像到图像的转换任务。这个项目的核心是两个模型：Cycle...
ID-CGAN:使用条件生成对抗网络进行图像去雨
05-12
使用条件生成对抗网络进行图像去雨 [] [] 何章，Vishwanath Sindagi，Vishal M.Patel 在本文中，我们研究了解决单图像去水印问题的新观点。 我们不仅要确保决定什么是实现良好的定量和定性性能的良好先验或良好...
pytorch-pix2pix:各种数据集的pix2pix的Pytorch实现
05-10
pytorch-pix2pix pix2pix [1]的各种数据集的Pytorch实现。 您可以下载数据集： : 您可以在查看有关网络体系结构和培训详细信息的更多信息。 资料集 城市风光2,975个训练图像，200个训练纪元，1批大小，反序：真 ...
Matlab-GAN：生成对抗网络的MATLAB实现-从GAN到Pixel2Pixel，CycleGAN
02-02
Pix2Pix是一种条件GAN（cGAN），它允许从一种类型的输入图像生成另一种类型的输出图像，如从草图生成照片。该模型通过结合条件损失函数和对抗性损失，实现了端到端的像素级映射。 **5. CycleGAN** CycleGAN是一种...
（CGAN）Conditional Generative Adversarial Nets
08-27
条件生成对抗网络（CGAN）， tensorflow实现
【深度学习】生成对抗网络GAN｜GAN、WGAN、WGAN-UP、CGAN、CycleGAN、DCGAN
m0_52427832的博客
10-21 2861
生成对抗网络由两个部分组成：生成器（Generator）和判别器（Distriminator） * 生成器：生成一个真实数据类似的数据分布（伪造数据） * 判别器：判断生成器生成的图片是真的还是假的（鉴别数据），类似于一个二分类器 在生成对抗模型框架中，有两个模型一个是生成模型G，一个判别模型D。生成器G根据隐含信息来随机生成观测数据，判别器D判别生成器生成的数据是真还是假。当判别器D判断生成器G生成了假数据后给生成器G一个惩罚，这导致生成器G被迫向“不受到”判别器D惩罚的方向进化学习，二者就构成了一个动态
CGAN+StackGAN
Forlogenの解忧杂货铺
04-04 682
关于CGAN的论文解读可见：https://blog.csdn.net/Forlogen/article/details/88980919 李宏毅老师的主页：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html B站视频：https://www.bilibili.com/video/av24011528?from=search&se...
【论文笔记】GAN-circle：从低分辨率图像生成高分辨率图像的半监督GAN模型
zuzhiang的博客
04-09 5865
本文是关于论文《CT Super-resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble (GAN-CIRCLE)》的阅读笔记，本来是想看有关cycle-GAN 的内容，但是错找成了 GAN-Circle 的论文。 一、研究背景 GAN-Circle 是一个半监督的深度学习网络，用来从低...
生成对抗网络(二)——cGAN
木盏
08-02 3958
cGAN = conditional GAN 也是
读论文笔记（ACGAN）
qq_40128284的博客
08-15 5865
前言： 这篇论文的全称为：《Conditional Image Synthesis with Auxiliary Classifier GANs》，基于辅助分类器GANs的条件图像合成，在很多时候，它和SGAN一样经常被人们称为半监督学习，因为会用到图片的类别标签；ACGAN同时结合了CGAN和SGAN的做法来提高图片的生成质量，即CGAN通过结合标签信息来提高生成数据的质量，SGAN通过重建标签信息来提高生成数据的质量。在我看来，（1）ACGAN的提出在很大程度上解决了GAN模型崩溃的问题，所谓GAN
【Pytorch深度学习50篇】·······第七篇：【4】GAN生成对抗网络---cycleGAN
guligedong的博客
03-08 2991
本来GAN这系列我只打算说到pix2pix的，但是情况有变，因为有人再看(感谢各位老铁支持) 所以决定再来一篇难度更大的GAN----cycleGAN，这次我们来个莫奈画生成，上强度！！ 4.CycleGAN 4.1 cycleGAN的模型结构 仍旧是：生成器+判别器 好了，这次肯定有人要说了，这哪里变难了，感觉比之前的都简单。其实并不是的，cycle这个单词就是循环，弯弯绕绕的意思，你看你一会晕不晕。希望别晕。 4.2算法逻辑 还是先来介绍一下数据集monet2photo，莫奈画和自
ConditionalGAN（CGAN）介绍及实现图像转图像生成应用
weixin_44814867的博客
07-03 7592
ConditionalGAN（CGAN）介绍及实现图像转图像生成应用一.ConditionalGAN框架理解二.StackGAN，PatchGAN框架理解三.复现ConditionalGAN论文四.实现图像转图像生成应用二级目录三级目录 一.ConditionalGAN框架理解 二.StackGAN，PatchGAN框架理解 三.复现ConditionalGAN论文 四.实现图像转图像生成应用 二级目录 三级目录 ...
CGAN理论讲解及代码实现
weixin_51781852的博客
08-07 6181
CGAN生成的图像虽然有很多缺陷，譬如图像边缘模糊，生成的图像分辨率太低，但是它为后面的pix2pixGAN和CycleGAN开拓了道路，这两个模型转换图像网络时对属性特征的处理方法均受到CGAN启发。针对原始GAN不能生成具有特定属性的图片的问题，Mehdi Mirza等人提出了CGAN，其核心在于将属性信息y融入生成器和判别器中，属性y可以是任何标签的信息，例如图像的类别，人脸图像的面部表情等。生成的图像是随机的，不可预测的，无法控制网络输出特定的图片，生成目标不明确，可控性不强。...
matlab-gan:生成对抗网络的 matlab 实现——从 gan 到 pixel2pixel、cyclegan
06-25
该实现提供了一系列的GAN示例，如最基础的MNIST手写数字图像生成、使用DCGAN和Wasserstein GAN生成图像，甚至还提供了Pix2Pix和CycleGAN，让用户能够在MATLAB环境中成功加载这些GAN应用。 Pix2Pix是基于条件对抗...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值