G6 - CycleGAN实战

• 🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/0dvHCaOoFnW8SCp3JpzKxg) 中的学习记录博客
• 🍖 原作者：[K同学啊](https://mtyjkh.blog.csdn.net/)

---

---

理论知识

CycleGAN能做什么

CycleGAN的一个重要的应用领域就是Domain Adapation（域迁移：可以通俗的理解 为画风迁移）。

比如可以把一张普通的风景照变化成梵高的画作，或者将游戏画面变化成真实世界的画面，将一匹正常肤色的马转换为斑马等。

模型结构

CycleGAN由左右两个GAN网络组成。

G(AB)负责把A类物体（斑马）转换成B类物体（正常的马）
G(BA)负责把B类物体（正常的马）还原成A类物体（斑马）

然后由一个判别器网络D来判别B类物体的真实性

损失函数

CycleGAN的Loss由三部分组成，即：
$$Loss=Los{s}_{GAN}+Los{s}_{cycle}+Los{s}_{identity}$$
其中:

• $Los{s}_{GAN}$ 用于保证生成器和判别器相互进货，进行保证生成器能产生更真实的图片，这部分与其它的GAN网络无异。
• $Los{s}_{cycle}$ 用于保证生成器的输出图片与输入图片只是风格不同，而内容相同。即保证：将由图像$x$生成的图像$\hat{Y}$再放入生成器$F$中，使生成的图像$\hat{x}$尽可能与原始图像$x$相似。
• $Los{s}_{identity}$ 是映射损失，即用真实的A当做输入，查看生成器是否会原封不到的输出

三种损失函数所捕捉的损失类型如图所示：

模型效果

直接下载UP提供的软件包，解压data.zip和cyclegan.zip

通过执行 python cyclegan.py来训练模型，默认参数是训练400个epoch需要训练一天时间以上，我们临时修改为训练4个epoch

# 还需要设置一下开始衰减的epoch，只要比n_epochs小就好，这里设置为2
python cyclegan.py --n_epochs 4 --decay_epoch 2

由于训练时间太短，只是稍微有些莫奈的味道

总结与心得体会

通过对CycleGAN的学习，我理解CycleGAN其实是训练了较前作来说是完整的GAN模型，G模型用来做从通过A生成B，F模型用来做通过B生成A。如果只是分别看GAN的损失，的确是两个不相关的模型，但是作者通过Cycle损失和Identity损失，将两个模型联合在一起进行训练，训练好的生成器G和生成器F就可以实现相反的两种转换。

通过前面的视频也可以看出，不同的帧之间，不一定具有一致性， 所以将一个图像模型直接转换为视频模型，有一个需要考虑的点就是前后帧的一致性问题，这应该是视频生成模型的共性问题。