GAN论文内容简述

BicycleGAN: Toward Multimodal Image-to-Image Translation.2017

Abstract:

许多图像到图像转换问题输出图像是模糊的,因为一个输入图像有可能对应多个输出。本文提出在条件生成模型中对可能的输出分布进行建模,map的模糊性一个低维度的隐藏向量,输出时通过对这个隐藏向量的采样进行输出。输入和输出的隐藏码之间是可逆的,解决模式崩溃问题。

Introduction:

主要的两个目标:感觉真实和多样

BicycleGAN:除了学习隐藏码和输出之间的map之外,还学习一个encoder将输出编码回隐藏码

CycleGAN: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks.

Abstract:

解决unpaired训练集上的图像转换问题。同时建立X->Y和Y->X的map。

Limitations:

  1. 在色彩和质地变化的问题上处理效果较好,但是对于几何尺度上变化的问题效果较差
  2. 受限制于训练集,有些变化可能没办法完成。比如训练集中只有野马和斑马,没有人骑着马的训练集,这样在遇到人骑马时,并不能单独对马进行迁移。
  3. cycleGAN实现的unpaired数据集上的输出的结果,与实际paired的训练数据集实现的结果有较大的差距。

DiscoGAN: Learning to Discover Cross-Domain Relations with Generative Adversarial Networks.

Abstraction:

自动学习不同domain之间的联系

Introduction:

问题可以转化为,根据一个domain的图像生成另一个domain里的图像。比如根据一个包的风格生成一只同样风格的鞋子。

结合两种GAN网络,大概的过程是,通过b的网络来保证生成的图像依旧在原来的domain中。通过a的网络来保证生成的图像与目标domain有联系(比如风格等)。比如给了一只鞋子,希望根据包的风格来生成鞋,b网络保证生成出来的一定是个鞋而不能是个包,a网络保证生成的鞋风格和包是一样的。
在这里插入图片描述

DualGAN: Unsupervised Dual Learning for Image-to-Image Translation.

Abstract:

双向训练

Introduction:

之前的很多图像转换问题都是使用不同模型处理不同问题。本文提出一个可以适用于多种图像转换问题的模型。DualGAN的思想来源于NLP。但是NLP中,用到了预训练模型来保证生成的语言是正确的。在图像转换问题中,得到预训练模型很困难,不使用预训练模型。
在这里插入图片描述

Face-Age-cGAN: Face Aging With Conditional Generative Adversarial Networks.

Abstraction:

引入了一种“Identity-preserving”优化方法进行人脸老化。

Introduction

传统的两种aging法:

  1. Prototype approaches:简单且快速,但这种方法取预定年龄组里面部的平均,会完全忽略人脸的个人特征。
  2. Modeling approaches:采用建模的方法,采用参数化模型针对个体的肌肉、皮肤等来做aging。但是这种方法需要有很多某个个体不同年龄段的一系列图片。

原来GAN存在的问题:个人的面部特征信息时常会丢失

本文的改进:

  1. 设计Age-cGAN,生产出在指定年龄段的高质量aging图片
  2. 提出了一种新的隐藏向量优化,可以使得Age-cGAN保存个人特征。

*GeneGAN: Learning Object Transfiguration and Attribute Subspace from Unpaired Data.

以前的方法:依赖特征空间的操作、paired数据集、显式模型。
GeneGAN:encoder学习出背景向量和目标特征向量,decoder输入背景向量以及不同的目标特征向量就能产生出不同的生成结果。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
通过提取特征保持背景不变进行生成

IcGAN: Invertible Conditional GANs for Image Editing.

cGAN的问题是不能够找到输入图片的隐藏向量(latent representation),而隐藏向量对于重建图片来说是十分重要的。
IcGAN网络结构:
大概是输入图片x,Ez变成一个包含x信息的向量z,通过Ey变成一个向量y,根据需要更改y向量为y‘作为condition。后半部分完全是一个conditional GAN。
在这里插入图片描述

Fader Networks: Manipulating Images by Sliding Attributes.

Abstract:

提出一种新的编码器-解码器架构,该架构通过在潜伏空间中直接拆分图像的显著信息和属性值(连续的)来训练重建图像。提出的模型可以通过改变属性值来生成输入图像的不同输出。

DTN: Unsupervised Cross-Domain Image Generation.

核心思想:D判断生成图像的质量及真假,最后的   f ( g ( f ( x ) ) ) \ f(g(f(x)))  f(g(f(x)))是生成的目标图像转换回的特征,   f ( x ) \ f(x)  f(x)   f ( g ( f ( x ) ) ) \ f(g(f(x)))  f(g(f(x)))越接近表示生成的图像源特征保留的越好。
在这里插入图片描述

UNIT: Unsupervised Image-to-Image Translation Networks.

shared-latent space assumpation
在这里插入图片描述
网课有

StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation.

网课有

Image to Image Translation for Domain Adaptation…

在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小丫么小阿豪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值