ICCV2017论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks” 阅读笔记

最新推荐文章于 2024-09-11 22:39:35 发布

Cyiano

最新推荐文章于 2024-09-11 22:39:35 发布

阅读量4.5k

点赞数

分类专栏：深度学习文章标签：深度学习风格迁移

本文链接：https://blog.csdn.net/cyiano/article/details/77882502

版权

CycleGAN是ICCV2017论文中提出的一种解决无配对图像到图像转换问题的方法，它利用循环一致性的概念，即使在没有一对一训练数据的情况下，也能实现图像风格的转换。通过结合对抗损失和循环一致性损失，网络能够学习到从一个图像域到另一个域的转换，并保持转换后的图像能够逆向转换回原始图像，从而确保了转换的准确性。

摘要由CSDN通过智能技术生成

ICCV2017论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks” 阅读笔记

题目：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
作者：Jun-Yan Zhu， Taesung Park等，Berkeley AI Research (BAIR) laboratory
项目地址：https://junyanz.github.io/CycleGAN/

简介

此文章的提出主要是为了解决一个问题—— image-to-image translation中一对一的训练数据较难获得。一般的训练，生成图像总是要与某个gound truth完全相等（pair），而这种goundtruth在某些场合中很难获取（例如风格迁移）。因此，作者希望在不借助paired example情况下，实现图像转换。
基于unpaired example的图像转换可以如此描述：一种服从分布X的图像，通过深度网络，使其服从Y分布。常用的方法是GAN网络，即训练一个网络G，使得生成的图像 $y^*=G(x)$ 与原有的 $y$ 分布相同，难以区别出来。然而，这种训练可能会导致网络出错，使很多输入对应到同一个输出，即输入输出没有一一对应。
作者认为这种图像转换应该遵循循环一致性（cycle consistent）:如果有一种转换G能使X -> Y，和F: Y -> X，那么X和Y应该是互相转置的关系。作者训练了两个网络G和F，设置一个循环一致性损失，使得 $F(G(x)) \approx x$ 和 $G(F(y)) \approx y$ ，将这个损失和对抗损失联合起来，就实现了完整的unpaired image-to-image translation。
本文提出的模型叫做CycleGAN