PaperNotes(4)-高质量图像生成-CGAN-StackGAN-Lapgan-Cyclegan-Pix2pixgan

已于 2022-03-18 00:09:10 修改
阅读量843 收藏 11
点赞数 1
分类专栏： PaperNotes 文章标签： 计算机视觉 机器学习 深度学习
于 2020-10-07 13:41:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_40624829/article/details/108938876
版权

cgan,stackgan,lapgan,cyclegan,pix2pixgan


题记–如何生成高质量图像，gan相关模型调研

1.基于散度距离的改进方案：f GAN, LSGAN, WGAN, WGAN-GP, SNGAN

2.基于网络结构的改进方案：DCGAN， ImprovedDCGAN, SAGAN, BigGAN

3.由应用引发的改进方案：Conditional GAN, TripleGAN, StackGAN, LapGAN,PGGAN, SRGAN, CycleGAN,StarGAN

4.GAN在特征提取上的应用：InfoGAN，VAEGAN，BigGAN

1.Conditional GAN

Generative Adversarial Text to Image Synthesis [ICML 2016,http://arxiv.org/abs/1605.05396]

1.1简介

论文：

条件GAN–生成的数据不仅要求逼真，还要求满足一定的条件约束

文字约束–一只在奔跑的小狗；

图像约束–生成图像的框架轮廓约束，生成器就好像在轮廓的基础上填充了颜色，绘制细节；

1.2网络结构与训练

生成网络增加了条件输入；
判别网络用于判别生成的图像与条件是否匹配，因此其需要三种类型的匹配对（生成图像，匹配条件）（真实图像，匹配条件）（真实图像，不匹配条件）；
在这里插入图片描述
在这里插入图片描述
训练流程
在这里插入图片描述

1.3特点与用途

1.能生成符合条件的图像，但是现有数据集合成pair出现的很少；TripleGAN是基于 CGAN 的改进，主要用于解决配对数据少的问题，会训练一个图像标注模型。

2.不能生成大分辨率的高清图，图像细节缺失；StackGAN 也是基于 CGAN 的改进，它主要想C-GAN无法生成高清图的问题。

3.有一个观点：CGAN可以避免所有的随机噪声很产生相同的样本（模式坍塌问题），不同的条件，可以产生不同的图。

**思考：**条件要是文字形式的，会涉及到NLP，文字的表示方式；条件如果是图像，就是img2img的问题，类似于上色，填充简单细节。

参考博文：https://blog.csdn.net/taoyafan/article/details/81229466

2.Stack GAN

2.1简介

StackGAN 希望输入一个描述语 c，能够产生一张 256256 的清晰大图。通过两个阶段堆叠来实现这个过程。
第一个阶段输入（c,z）产生一个 6464 的小图x，
第二个节点输入（c,x）产生一个256*256的大图X

2.2网络结构与训练

在这里插入图片描述
由结构图可见，对于获得的 text_embedding，stackGAN 没有直接将 embedding 作为
condition，而是用 embedding 接了一个 FC 层得到了一个正态分布的均值和方差，然后从
这个正态分布中 采样 出来要用的 condition。这样做实际是做了一个降维处理，避免原始embeding高维稀疏，导致模型过拟合。（为了避免过拟合在生成器的loss上增加了一个正太分布的正则项）

两个阶段的损失函数为：
在这里插入图片描述

2.3特点与用途

1.Conditioning Augmentation（CA） 条件增强技术

2.StackGAN 不能处理比较复杂的文本，李飞飞小组提出方法能处理更长更复杂的文本，并且有不错的生成效果，论文地址：https://arxiv.org/abs/1804.01622。

思考：
1.要有同一张图像的6464，256256大小的真图。
2.感觉就像是两个Conditional GAN 简单的堆叠在一起，多增加了一个CA技术；
3.不要condition,直接级连的效果是不是等价于生成网络层数加深？设计合适的级连结构，应该能够生成合适大小的图像才对呀？尝试级连生成大分辨率的工作，在相关工作中应爱会介绍

参考博文：https://blog.csdn.net/a312863063/article/details/83574422

3.Lap GAN

3.1简介

生成高分辨率图像GAN模型的典型代表，利用拉普拉斯金字塔，由低分辨率生成高分辨图像。金字塔的每一层都是一个C-GAN，其中下一级图像的上采样图作为G的条件，生成本级真实图像与上采样图像的残差。

3.2网络结构与训练

采样流程图，自右向左分析
在这里插入图片描述
训练流程，自右向左分析
在这里插入图片描述

3.3特点与用途

1.能生成较高分辨率的图像，但是更高分辨率的图像可能使用PGGAN，或者超分辨率GAN效果会更好一些。

2.实际都是C-GAN 的堆叠，只是G的条件是上采样的图，生成真图和上采样的残差。

参考博文：https://zhuanlan.zhihu.com/p/94153155

4.Pix2pix GAN

4.1 简介

从风格迁移说起：在深度学习兴起后，16年有篇cvpr文章使用深度卷积网络做风格迁移。随着GAN网络研究热潮，人们开始研究使用gan 网络做风格迁移。以下五个是比较典型风格迁移的工作。
pix2pix GAN (1611)，CycleGAN (1703)，DiscoGAN (1703)，PAN（ Perceptual Adversarial Networks）感知GAN (1706)，StarGAN (1711)

pix2pix GAN 和 cycle GAN是同以作者，两篇递进式的工作。

pix2pix GAN工作出自Image-to-Image Translation with Conditional Adversarial Networks，实质还是用CGAN来做图像转换工作。

4.2 网络结构和训练

pix2pix gan 生成器和判别器的工作结构
在这里插入图片描述
pix2pix gan 损失函数，L1是True黑与生成黑的像素间l1范数距离。
在这里插入图片描述

4.3 特点和用途

1.pix2pix 主要做了G网络结构的探索：Encoder-decoder 结构和U-net结构，图像patch的操作

2.实质还是用CGAN来做图像转换工作。

参考博文：https://blog.csdn.net/on2way/article/details/78768221

5.Patch GAN

主要对判别网络做了改进，D输出N*N的矩阵，每个元素为True/False,表示输入图像中的感受野的真假。

思考：标签该怎么打？真实图像给一个NN的True块，生成图像给一个NN的False块？
主要是patch 操作？和pix2pix gan 中的patch有什么异同。

参考博文：https://blog.csdn.net/xiaoxifei/article/details/86506955
https://blog.csdn.net/weixin_35576881/article/details/88058040

6.Cycle GAN

6.1简介

用原始GAN结构在生成网络层数较深时，可能生成与输入差别较大的图像，就不是风格迁移，而是改头换面, 忽略了输入图像长什么样子。
在这里插入图片描述
为了防止生成器学习到具有欺骗性的造假数据，需要保证生成器的输出和原图具有很高的相似性，就可以不丢失原图的特征。

于是 CycleGAN 中加入了一个新的生成器，以第一个生成器的输出作为输入，希望输出一个和原始输入尽可能相似的图。如果能够还原回原始图片，可以表明第一个生成器的输出保留了大量原始图片的特征，输出结果是较为可靠的；而如果不能较好的还原回原始图片，意味着第一个生成器输出与输入差别较大。

6.2网络结构与训练

单向cycle gan
在这里插入图片描述
双向cycle gan（很多博文中都是这个结构）
在这里插入图片描述

6.3特点与用途

1.用来做风格迁移，在pix2pi的基础上不需要pair的训练样本。

2.CycleGAN 存在一种问题，是它能学会把输入的某些部分藏起来，然后在输出的时候再还原回来。比较好理解，隐藏掉一些破坏风格相似性的“坏点”会更容易获得判别器的高分。

思考：如何用实现图像分辨率扩大的功能？

参考博文：https://blog.csdn.net/on2way/article/details/78768221

7.思考与待定

做高分辨率的实验

1.cycle gan 似乎不是天生用来做分辨率变高的实验的。

2.直接使用stack GAN，梯度信息传不到前面–两个生成器具分开训练

3.CGAN的公式推导，如何与stein 变分合在一起–基本没啥好推导的。

4.直接级连不需要条件的GAN–基本上没有看到相关的文章

5.srgan 官网上提供了训练好的超分辨率模型，可以尝试一些图像的超分辨率生成。但如果原图是一团看不清的东西，基本也不了什么。

6.两个网络堆叠：两个网络同时训练的比两个网络分开训练难训。改造了stack gan stage2 的GAN模型（去除条件输入）堆叠模型在object101-airplane上表现好不错，但是在cifar上的效果还是基本看不出来画的是什么。

pg-gan，info gan 还没有看多

小陈同学-陈百万
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cGAN和pix2pix
qq_32172681的博客
06-23 2342
本文会介绍cGAN和pix2pix，并在 TensorFlow 中使用 pix2pix 模型。 一、cGAN原理 使用GAN可以无监督生成全新的图片，比如使用GAN生成MNIST数字，虽然可以生成数字，但是不能生成确定的数字。如果希望控制生成的结果，例如生成数字1，此时就要用到cGAN了。 cGAN 的全称为 Conditional Generative Adversarial Net...
cgan-face-generator：使用cGAN（pix2pix）模型从草图生成人脸
02-05
使用cGAN的人脸生成器（后端）我们提出并使用cGAN模型（ ）进行了实验，以从...要求在 3 ： pip install flask 所有培训部分均在git clone https://github.com/junyanz/pytorch-CycleGAN-and-pix2pixcd pytorch-Cycle
CycleGAN和Conditional GAN（cGAN）
m0_54741987的博客
06-17 465
例如，在图像生成任务中，通过提供类别标签，可以生成特定类别的图像。在图像到图像的转换任务中，可以通过条件信息控制转换的风格、特征等。训练过程中，生成器的目标是尽可能欺骗判别器，使得生成的图像在视觉上无法与真实图像区分开来。CycleGAN是一种无监督的图像转换模型，它可以在两个不同的图像域之间进行转换，而无需成对的训练数据。例如，它可以将马的图像转换为斑马的图像，或者将夏季景色转换为冬季景色。让我逐步介绍它们的原理和应用。生成器的目标是生成逼真的图像，并使得判别器无法准确区分生成的图像和真实图像。
Generative Adversarial Networks（CGAN、CycleGAN、CoGAN）
nakaizura
07-17 3322
很久前整理了GAN和DCGAN，主要是GAN的基本原理和训练方法，以及DCGAN在图像上的应用。其核心思想就是通过训练两个神经网络，一个用来生成数据，另一个用于在假数据中分类出真数据，并且同时训练它们使其收敛到某一点，那么在这个点上，训练好的生成器就可以生成“新的且真实”的数据。 Conditional Generative Adversarial Network (条件生成对抗网络，CGAN)...
深度学习系列33：有标签的CGAN：Pix2Pix/Pix2PixHD/cycleGAN
kittyzc的博客
05-23 2034
1. 从GAN到CGAN GAN的训练数据是没有标签的，如果我们要做有标签的训练，则需要用到CGAN。 对于图像来说，我们既要让输出的图片真实，也要让输出的图片符合标签c。Discriminator输入便被改成了同时输入c和x，输出要做两件事情，一个是判断x是否是真实图片，另一个是x和c是否是匹配的。 在下面两个情况中，左边虽然输出图片清晰，但不符合c；右边输出图片不真实。因此两种情况中D的输出都会是0。 我们来看下简单的示例代码： import torch import torch.nn as nn
【深度学习】生成对抗网络GAN｜GAN、WGAN、WGAN-UP、CGAN、CycleGAN、DCGAN
m0_52427832的博客
10-21 2812
生成对抗网络由两个部分组成：生成器（Generator）和判别器（Distriminator） * 生成器：生成一个真实数据类似的数据分布（伪造数据） * 判别器：判断生成器生成的图片是真的还是假的（鉴别数据），类似于一个二分类器 在生成对抗模型框架中，有两个模型一个是生成模型G，一个判别模型D。生成器G根据隐含信息来随机生成观测数据，判别器D判别生成器生成的数据是真还是假。当判别器D判断生成器G生成了假数据后给生成器G一个惩罚，这导致生成器G被迫向“不受到”判别器D惩罚的方向进化学习，二者就构成了一个动态
ID-CGAN:使用条件生成对抗网络进行图像去雨
05-12
使用条件生成对抗网络进行图像去雨 [] [] 何章，Vishwanath Sindagi，Vishal M.Patel 在本文中，我们研究了解决单图像去水印问题的新观点。 我们不仅要确保决定什么是实现良好的定量和定性性能的良好先验或良好...
pytorch-pix2pix:各种数据集的pix2pix的Pytorch实现
05-10
pytorch-pix2pix pix2pix [1]的各种数据集的Pytorch实现。 您可以下载数据集： : 您可以在查看有关网络体系结构和培训详细信息的更多信息。 资料集 城市风光2,975个训练图像，200个训练纪元，1批大小，反序：真 ...
gan-playground:生成广告网络-实验
03-04
gan-playground:生成广告网络-实验
Matlab-GAN：生成对抗网络的MATLAB实现-从GAN到Pixel2Pixel，CycleGAN
02-02
Matlab-GAN：生成对抗网络的MATLAB实现-从GAN到Pixel2Pixel，CycleGAN
（CGAN）Conditional Generative Adversarial Nets
08-27
条件生成对抗网络（CGAN）， tensorflow实现
CGAN+StackGAN
Forlogenの解忧杂货铺
04-04 676
关于CGAN的论文解读可见：https://blog.csdn.net/Forlogen/article/details/88980919 李宏毅老师的主页：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html B站视频：https://www.bilibili.com/video/av24011528?from=search&se...
【论文笔记】GAN-circle：从低分辨率图像生成高分辨率图像的半监督GAN模型
zuzhiang的博客
04-09 5750
本文是关于论文《CT Super-resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble (GAN-CIRCLE)》的阅读笔记，本来是想看有关cycle-GAN 的内容，但是错找成了 GAN-Circle 的论文。 一、研究背景 GAN-Circle 是一个半监督的深度学习网络，用来从低...
生成对抗网络(二)——cGAN
木盏
08-02 3932
cGAN = conditional GAN 也是
读论文笔记（ACGAN）
qq_40128284的博客
08-15 5725
前言： 这篇论文的全称为：《Conditional Image Synthesis with Auxiliary Classifier GANs》，基于辅助分类器GANs的条件图像合成，在很多时候，它和SGAN一样经常被人们称为半监督学习，因为会用到图片的类别标签；ACGAN同时结合了CGAN和SGAN的做法来提高图片的生成质量，即CGAN通过结合标签信息来提高生成数据的质量，SGAN通过重建标签信息来提高生成数据的质量。在我看来，（1）ACGAN的提出在很大程度上解决了GAN模型崩溃的问题，所谓GAN
ConditionalGAN（CGAN）介绍及实现图像转图像生成应用
weixin_44814867的博客
07-03 7150
ConditionalGAN（CGAN）介绍及实现图像转图像生成应用一.ConditionalGAN框架理解二.StackGAN，PatchGAN框架理解三.复现ConditionalGAN论文四.实现图像转图像生成应用二级目录三级目录 一.ConditionalGAN框架理解 二.StackGAN，PatchGAN框架理解 三.复现ConditionalGAN论文 四.实现图像转图像生成应用 二级目录 三级目录 ...
CGAN理论讲解及代码实现
weixin_51781852的博客
08-07 5772
CGAN生成的图像虽然有很多缺陷，譬如图像边缘模糊，生成的图像分辨率太低，但是它为后面的pix2pixGAN和CycleGAN开拓了道路，这两个模型转换图像网络时对属性特征的处理方法均受到CGAN启发。针对原始GAN不能生成具有特定属性的图片的问题，Mehdi Mirza等人提出了CGAN，其核心在于将属性信息y融入生成器和判别器中，属性y可以是任何标签的信息，例如图像的类别，人脸图像的面部表情等。生成的图像是随机的，不可预测的，无法控制网络输出特定的图片，生成目标不明确，可控性不强。...
Image-to-image translation with Conditional Adversarial Networks——基于cGAN的图像转换
还是应该要努力的（12点前睡觉！！！！！
04-17 2086
文章目录论文背景介绍 Background Introductionstructured losses function 论文原文 —— pix2pix paper: Image-to-image with Conditional Adversarial Networks 论文背景介绍 Background Introduction 我们知道有很多的数字图像处理，计算机视觉都涉及到了一个问题，那就...
GAN图像生成-pyotrch
lodew920
04-07 7104
生成对抗网络 生成对抗网络（GAN）是一种算法体系结构，它使用两个神经网络，使一个神经网络与另一个神经网络（因此称为“对抗性”）相互对立，以便生成可以传递给真实数据的新的合成数据实例。 它们广泛用于图像生成，视频生成和语音生成。 虽然大多数深度生成模型是通过最大化对数可能性或对数可能性的下限来训练的，但是GAN采取了根本不同的方法，不需要推理或明确计算数据可能性。 取而代之的是，有两个模型用于求解极小极大博弈：一个对数据进行采样的生成器和一个将数据分类为真实或生成的鉴别器。理论上，这些模型能够对任意复杂的
matlab-gan:生成对抗网络的 matlab 实现——从 gan 到 pixel2pixel、cyclegan
最新发布
06-25
### 回答1： GAN（Generative Adversarial Network）是一种深度学习模型，在许多任务中都有广泛应用。在 GAN 中，有一个生成器和一个判别器。生成器尝试生成与真实数据类似的新数据，判别器则尝试区分生成的数据与真实数据。生成器和判别器通过对抗的方式共同训练。 Matlab-GAN 是一种基于 Matlab 的 GAN 实现，可以实现生成图片，视频等任务。在 Matlab-GAN 中，可以使用不同的损失函数和正则化技术，来改善生成的质量和稳定性。 除了 GAN，Pixel2Pixel 和 CycleGAN 也是常用的深度学习模型，在计算机视觉任务中具有重要的应用。Pixel2Pixel 是一种基于卷积神经网络的图像翻译模型，可以将一个图像转换为另一个图像，如将黑白图像转换为彩色图像。CycleGAN 是一种无需成对匹配的图像转换模型，可以用于跨域图像转换，如将马的图像转换为斑马的图像。 Matlab-GAN 支持 Pixel2Pixel 和 CycleGAN 的实现，可以帮助更方便地进行图像转换任务。Pixel2Pixel 和 CycleGAN 也可以与 GAN 结合使用，产生更高质量、更可控的生成结果。 总之，Matlab-GAN 是一种实现生成对抗网络的工具，支持不同类型的 GAN 和深度学习模型，可以实现图像、视频等多种任务。Pixel2Pixel 和 CycleGAN 作为深度学习模型中常用的工具，可以帮助更好地完成图像转换任务。 ### 回答2： GAN，即生成对抗网络，是近年来流行的一种机器学习算法模型，它可以通过两个深度神经网络模型（生成器和判别器）来生成具有类似于真实图像的虚拟图像。 在Matlab中，GAN也有自己的实现——matlab-gan。该实现提供了一系列的GAN示例，如最基础的MNIST手写数字图像生成、使用DCGAN和Wasserstein GAN生成图像，甚至还提供了Pix2Pix和CycleGAN，让用户能够在MATLAB环境中成功加载这些GAN应用。 Pix2Pix是基于条件对抗网络(CGAN)的扩展，它可以将给定的输入图像转换为输出图像。例如，它可以将黑白照片转换成彩色照片，或将景象翻译成抽象画作。该示例合成城市街景并将它们转换为艺术风格的图像。 CycleGAN是一种通用的无监督图像到图像转换器，它可以将两个域之间的图像转换成另一个域。例如，它可以将马的图像转换成斑马的图像。CycleGAN在图像风格转换、模型综合、目标转换等方面表现出色，是GAN的重要变种。 总体来说，matlab-gan是一个适合于GAN初学者的绝佳平台。它不仅提供了简单的GAN实现，还包括两个复杂的GAN变种——Pix2Pix和CycleGAN。这些示例不仅能够教授GAN的基础理论，还能够为研究者提供一个练习环境来测试并扩展这些算法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值