[CVPR2020] XDCycleGAN

背景

本文提出Extended and Directional CycleGAN （XDCycleGAN），用于在OC和VC之间进行有损不成对图像翻译
光学结肠镜检查（OC）：主要包含几何结构+颜色+纹理+镜面高光信息
虚拟结肠镜检查（VC）：主要包含几何结构信息
OC $\to$ VC的转换是有损的

主要贡献

1.Extended Cycle Consistent Loss：从VC中去除纹理、颜色和镜面高光。
2.Directional Discriminator：在OC和VC之间创建一个更强的连接，用于去除剩余的纹理和高光。

Extended Cycle Consistent Loss

普通的cycle loss：

拓展cycle loss：

$x$是VC图像，$y$是OC图像，$G_a$是$x\to y$的翻译
拓展cycle loss在VC域上比较OC，$y$和重构OC，$G_a(G_b(y))$的结构一致性

图示比较：

在这种情况下，重构OC，$G_a(G_b(y))$并没有受到直接的限制。为了让其像一个OC图片，传统上会使用身份损失identity loss来保持其颜色信息。
但我们并不想保留OC的颜色信息，而是考虑从VC的角度保留信息。
$${\mathcal{L}}_{iden}(A)={\mathbb{E}}_{y\sim P(A)}|G_a(y)-y|$$
同时会对OC建立传统的GAN Loss。

Directional Discriminator

我们尝试建立一个3player game（2$G$1$D$），其中$D$是conditional的，即把G的输入输出都输给它。

$D_{dir}$任务是区分输入是来自哪个$G$的，即区分输入$[y,G_b(y)]$和$[G_a(x),x]$。

当模型收敛时，合成图像需要反映其相应域的真实分布，同时还需要提供$D_{dir}$成对的信息。
完整的目标函数：

参考超参数$\alpha =0.5,\lambda =10,\gamma =5$。
该文在$D$的每一层应用了spectral normalization