【万物皆可 GAN】CycleGAN 原理详解

概述

CycleGAN (Cycle Generative Adversarial Network) 即循环对抗生成网络. CycleGAN 可以帮助我们实现图像的互相转换. CycleGAN 不需要数据配对就能实现图像的转换.

从上图我们可以看到, 通过使用 CycleGAN 我们实现了马到斑马的转换.

CycleGAN 可以做什么

答: 万物皆可 GAN

图片转换

图片修复

换脸

CycleGAN 网络结构

CycleGAN 由左右两个 GAN 网络组成. G(AB) 负责把 A 类物体 (斑马) 转换成 B 类物体 (正常的马). G(BA) 负责把 B 类物体 (正常的马) 还原成 A 类物体 (斑马).

如果我们只有 G(AB) 一个网络, 生成器 (Generator) 就会偷懒, 用随意任何一匹马蒙混过关, 如图底部. 所以我们需要两个 GAN 网络, 通过循环约束生成器 (Generator).

如图, 完整的 CycleGAN 由上下两部分组成, 上下两部分的唯一区别在于输入. 一个输入是 A 类, 生成 B 类; 另一个输入是 B 类, 生成 A 类.

CycleGAN 损失函数

CycleGAN 的损失函数总共有 2 组, 每组 4 个, 总计 8 个. 如图:

其中:

• D_A & D_B: 是判断器的损失
• G_A & G_B: 是生成器的损失
• cycle_A & cycle_B: 是原始图像和还原图像的损失, 即 A => B => A, 初始和和还原 A 的损失
• idt_A & idt_B: 是映射损失, 即用真实的 B 当做输入, 查看生成器是否会原封不动的输出 (B => B?)