生成对抗网络系列—ACL-GAN

系列文章目录

======================================================
专题-生成对抗网络
第一节 GAN
第二节
第三节 生成对抗网络系列—CycleGAN
第四节 生成对抗网络系列—ACL-GAN

======================================================

背景

这篇文章研究的场景是：paired image to image translaction， 与CycleGAN相同:在Unpaired场景下， 有两个域： 源域$X_S$ 和 目标域$X_T$, $X=X_S\cup X_T$, 其对应的分布分别为：$p_S$, $p_T$, $p_X$。

这篇文章解决的问题：Cycle-consistency loss 由于严格的像素级约束 （例如CycleGAN中作者使用L1距离逐像素度量原图像与Cycle恢复后图像之间的差距），它无法执行几何更改，移除大物体或忽略无关的纹理。为了克服这个问题，作者提出了所谓的Adversarial consistence loss (ACL)。

模型

ACL-GAN由5个Module组成：两个Generator，三个Discriminator, 具体如下：
$G_S:(x,z)\to x_S$： 将任意域的图像映射到源域；
$G_T:(x,z)\to x_T$： 将任意域的图像映射到目标域；
$D_S$: 源域上的Discriminator；
$D_T$: 目标域上的Discriminator；
$\hat{D}$ 一致性判别器；
注：1.$z\in N(0,1)$, 每个Generator本身由Noise encoder, encoder,和decoder三部分组成，Noise encoder服务于Indentity loss。
2.Generator的设计中融入噪声也是一个常用的技巧，也是ACL-GAN发挥作用的关键因素之一。

损失函数

损失函数由三部分组成: (1) Adversarial translation loss; (2) Adversarial consistency loss; (3) Inentity loss and mask.

(1)Adversarial translation loss
Adversarial translation loss比较常规，由两部分组成， 分别是源域和目标域上的, 损失形式与GAN类似：
先来看目标域上的：

其中正样本为$x_T$, 负样本为${\bar{x}}_T=G_T(x_S,z_1)$, $z_1\in N(0,1)$

再来看源域上的：
其中正样本为$x_S$, 负样本由${\hat{x}}_S=G_S({\bar{x}}_T,z_2)$和${\tilde{x}}_S=G_S(x_S,z_3)$组成，$z_2,z_3\in N(0,1)$
注：可以看到，源域上和目标域上的Adversarial translation losss稍有不同，源域上的负样本多了${\tilde{x}}_S$, 而目标域中却没有负样本${\tilde{x}}_T$，
把上面两个合并起来就是：

(2)Adversarial consistency loss
动机：为了在转换后的图像中保存原图中的重要特征，提出了对抗一致性损失Adversarial consistency loss，通过一个一致性判别器$\hat{D}$ 实现：$\hat{D}$以$x_S$为参考，并采用成对的图像作为输入，以使生成器最小化联合分布$(x_S,{\hat{x}}_S)$和联合分布$(x_S,{\tilde{x}}_S)$之间的距离。
损失形式如下：


注：输入噪声z非常重要，它使得对于每个$x\in x_S$, $G_S(x,z_3)$可以有很多个，即所谓的多模态输出(multi-modal outputs), 否则的话，该损失项将退化为使得${\hat{x}}_S$与$x_S$相同，即Cycle-consistency loss。
(3)**Inentity loss **
动机：为了保证当把目标域的样本作为Generator的输入时，Generator近似于恒等映射，提出了Inentity loss。
Inentity loss的计算需要借助两个噪声编码器: $E_S^z:X_S\to Z$和$E_T^z:X_T\to Z$,
Inentity loss形式如下：


(4)Bounded focus mask
动机：实际中，某些应用程序要求生成器仅修改源图像的某些区域，而其余部分保持不变， 这就需要借助Mask。
具体来说，我们让Generator产生四个通道，其中前三个是RGB图像的通道，第四个称为有界聚焦区域，其值在0到1之间。

其中：$x_S$是源图像，$x_T^{{}^{\prime }}$是生成器的前三个输出通道，$x_m$是有界聚焦罩(即生成器的第四个输出通道)。
$L_{mask}$定义如下：

注：最终$L_{mask}$会基于图像的size被归一化。

总的损失函数形式如下：

References

1.Unpaired Image-to-Image Translation using Adversarial Consistency Loss, ECCV, 2020