BicycleGAN: Toward Multimodal Image-to-Image Translation.2017
Abstract:
许多图像到图像转换问题输出图像是模糊的,因为一个输入图像有可能对应多个输出。本文提出在条件生成模型中对可能的输出分布进行建模,map的模糊性一个低维度的隐藏向量,输出时通过对这个隐藏向量的采样进行输出。输入和输出的隐藏码之间是可逆的,解决模式崩溃问题。
Introduction:
主要的两个目标:感觉真实和多样
BicycleGAN:除了学习隐藏码和输出之间的map之外,还学习一个encoder将输出编码回隐藏码
CycleGAN: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks.
Abstract:
解决unpaired训练集上的图像转换问题。同时建立X->Y和Y->X的map。
Limitations:
- 在色彩和质地变化的问题上处理效果较好,但是对于几何尺度上变化的问题效果较差
- 受限制于训练集,有些变化可能没办法完成。比如训练集中只有野马和斑马,没有人骑着马的训练集,这样在遇到人骑马时,并不能单独对马进行迁移。
- cycleGAN实现的unpaired数据集上的输出的结果,与实际paired的训练数据集实现的结果有较大的差距。
DiscoGAN: Learning to Discover Cross-Domain Relations with Generative Adversarial Networks.
Abstraction:
自动学习不同domain之间的联系
Introduction:
问题可以转化为,根据一个domain的图像生成另一个domain里的图像。比如根据一个包的风格生成一只同样风格的鞋子。
结合两种GAN网络,大概的过程是,通过b的网络来保证生成的图像依旧在原来的domain中。通过a的网络来保证生成的图像与目标domain有联系(比如风格等)。比如给了一只鞋子,希望根据包的风格来生成鞋,b网络保证生成出来的一定是个鞋而不能是个包,a网络保证生成的鞋风格和包是一样的。
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation.
Abstract:
双向训练
Introduction:
之前的很多图像转换问题都是使用不同模型处理不同问题。本文提出一个可以适用于多种图像转换问题的模型。DualGAN的思想来源于NLP。但是NLP中,用到了预训练模型来保证生成的语言是正确的。在图像转换问题中,得到预训练模型很困难,不使用预训练模型。
Face-Age-cGAN: Face Aging With Conditional Generative Adversarial Networks.
Abstraction:
引入了一种“Identity-preserving”优化方法进行人脸老化。
Introduction
传统的两种aging法:
- Prototype approaches:简单且快速,但这种方法取预定年龄组里面部的平均,会完全忽略人脸的个人特征。
- Modeling approaches:采用建模的方法,采用参数化模型针对个体的肌肉、皮肤等来做aging。但是这种方法需要有很多某个个体不同年龄段的一系列图片。
原来GAN存在的问题:个人的面部特征信息时常会丢失
本文的改进:
- 设计Age-cGAN,生产出在指定年龄段的高质量aging图片
- 提出了一种新的隐藏向量优化,可以使得Age-cGAN保存个人特征。
*GeneGAN: Learning Object Transfiguration and Attribute Subspace from Unpaired Data.
以前的方法:依赖特征空间的操作、paired数据集、显式模型。
GeneGAN:encoder学习出背景向量和目标特征向量,decoder输入背景向量以及不同的目标特征向量就能产生出不同的生成结果。
通过提取特征保持背景不变进行生成
IcGAN: Invertible Conditional GANs for Image Editing.
cGAN的问题是不能够找到输入图片的隐藏向量(latent representation),而隐藏向量对于重建图片来说是十分重要的。
IcGAN网络结构:
大概是输入图片x,Ez变成一个包含x信息的向量z,通过Ey变成一个向量y,根据需要更改y向量为y‘作为condition。后半部分完全是一个conditional GAN。
Fader Networks: Manipulating Images by Sliding Attributes.
Abstract:
提出一种新的编码器-解码器架构,该架构通过在潜伏空间中直接拆分图像的显著信息和属性值(连续的)来训练重建图像。提出的模型可以通过改变属性值来生成输入图像的不同输出。
DTN: Unsupervised Cross-Domain Image Generation.
核心思想:D判断生成图像的质量及真假,最后的
f
(
g
(
f
(
x
)
)
)
\ f(g(f(x)))
f(g(f(x)))是生成的目标图像转换回的特征,
f
(
x
)
\ f(x)
f(x)与
f
(
g
(
f
(
x
)
)
)
\ f(g(f(x)))
f(g(f(x)))越接近表示生成的图像源特征保留的越好。
UNIT: Unsupervised Image-to-Image Translation Networks.
shared-latent space assumpation
网课有
StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation.
网课有