之前写的两篇博客《domain adaptation 之 domain adversarial learning(一)》和《domain adaptation 之 domain adversarial learning (二)》使用对抗生成网络(GAN)寻找域不变性特征或拉近特征域距离都是在CNN 深度特征映射空间中进行的,本文介绍的方法是如何从源域生成一批目标域的数据集。论文为:Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks
一、cycleGAN介绍
cycleGAN是一个图像到图像的对抗生成训练网络,可以很好地迁移图像风格。cycleGAN具有很好的普适性,就像作者提到的那样,它无需配对的数据进行训练,无需先验知识设定模型,也不假设输入输出图像具有相痛的低维嵌入空间 (比如类空间、像素空间、图像特征空间等)。下面是cycleGAN的图像迁移效果。
照片与莫奈的画之间,马与斑马之间,夏天与冬天之间风格的转变,网络能实现一张图像转换为另一种风格的图像,但是输入图像之间、输出图像之间的风格要保持一致,也就是说cycleGAN不是针对两个特定图像之间风格转换,而是针对更高级的表现结构之间的风格转换。
二、cycleGAN的结构
cycleGAN是在给定训练样本 { x i } i = 1 N ∈ X \{x_i\}_{i=1}^N\in X { xi}i=1N∈X, { y j } j = 1 m ] ∈ Y \{y_j\}_{j=1}^m]\in Y { yj}j=1m]∈Y的情况下,学习域 X X X和域 Y Y Y之间的映射函数。
如上图,cycleGAN 包括:
- 两个映射结构 G : X → Y G:X \rarr Y G:X→Y 和 F : Y → X F:Y \rarr X F:Y→X;
- 两个辨别器 D X D_X DX 和 D Y D_Y DY。其中 D X D_X DX</