【论文阅读-1】CycleGAN原理

CycleGAN原理

1. 初识CycleGAN

1.1 什么是CycleGAN

• CycleGAN是一种完成$图像到图像$的转换的一种GAN。

• 图像到图像的转换是一类视觉和图形问题，其$目标是获得输入图像和输出图像之间的映射$。

  

• 但是，对于许多任务，配对的训练数据是获取不了的（比如：相同动作下的马和斑马）。

• CycleGAN提出了一种$在没有成对数据的情况下，学习将图像从源域X转换到目标域Y的方法$。

1.2 数学表示

• 两个图像域：$A$、$B$；
  • $A$：假设是马的数据集；
  • $B$：假设是斑马的数据集。
• 两个单射（生成器）：$G_{A2B}:A\to B$,$G_{B2A}:B\to A$ ；
  • 生成器 $G_{A2B}:A\to B$：将图像从 $A$ 转换为 $B$（例如马到斑马）
  • 生成器 $G_{B2A}:B\to A$：将图像从 $B$ 转换为 $A$（例如斑马到马）

  这两个映射$是双射$。这是通过循环一致性损失来实现的：

  • $G_{B2A}\left(G_{A2B}\left(A\right)\right)\approx A$
  • $G_{A2B}\left(G_{B2A}\left(B\right)\right)\approx B$

• 两个判别器：$D_B$、$D_A$
  • 判别器 $D_A$：评分 $A$ 的图像看起来有多真实（例如，这个图像看起来像一匹马吗？）
  • 判别器 $D_B$：对 $B$ 图像的真实程度打分（例如，这张图像看起来像斑马吗？）

  $循环一致性$是：

  • 如果你能够训练这对 GAN 从 $A\to B\to A$ 转换，即在确保循环一致性的同时生成图像；
  • 那么 $A\to G(A)\to F(G(A))\approx A$，那么你就可以很好地学习图像Translate任务了。

---

2. 模型介绍

2.1 基本过程

以$G_{A2B}$和$D_B$为例。

2.2 生成器

生成器由三部分组成：$编码器$、$转换器$、$解码器$。

2.2.1 编码器

第一步是利用卷积网络从输入图像中提取特征。整个编码过程，将 $D_A$ 域中一个尺寸为 [256,256,3] 的图像，输入到设计的编码器中，获得了尺寸为 [64,64,256] 的输出 $O_{Aenc}$。

2.2.2 转换器

1. 这些网络层的作用是组合图像的不同相近特征，然后基于这些特征，确定如何将图像的特征向量 $O_{Aenc}$ 从 $D_A$域转换为 $D_B$域的特征向量。

2. 作者使用 6 层 $Resnet$模块。

   • 一个 Resnet 模块是一个由两个卷积层组成的神经网络层，其中部分输入数据直接添加到输出。

     这样做是为了确保先前网络层的输入数据信息直接作用于后面的网络层，使得相应输出与原始输入的偏差缩小，否则原始图像的特征将不会保留在输出中且输出结果会偏离目标轮廓。

   • 这个任务的一个主要目标是保留原始图像的特征，如目标的大小和形状，因此残差网络非常适合完成这些转换。Resnet 模块的结构如下所示：

     

3. $O_{Benc}$表示该层的最终输出，尺寸为 [64,64,256]，这可以看作是$D_B$域中图像的特征向量。

2.2.3 解码器

1. 解码过程与编码方式完全相反，从特征向量中还原出低级特征，这是利用了$反卷积层（deconvolution）$来完成的。
2. 将这些低级特征转换得到一张在$D_B$域中的图像，得到一个大小为 [256,256,3] 的生成图像$Ge{n}_B$。

2.3 判别器

判别器将一张图像作为输入，并尝试预测其为原始图像或是生成器的输出图像。判别器的结构如下所示：

判别器本身就属于卷积网络，需要从图像中提取特征；然后是确定这些特征是否属于该特定类别，使用一个产生一维输出的卷积层来完成这个任务。

2.4 Loss计算

Loss分为6个部分，可分为3类：

2.4.1 原始GAN的损失：

• 对于判别器$D_B(线1)$：
  $${\mathcal{L}}_{GAN}\left(G_{A2B},D_B,A,B\right)={\mathbb{E}}_{b\in {\mathbb{P}}_B}\log D_B(b)+{\mathbb{E}}_{a\in {\mathbb{P}}_A}\log [1-D_B(G_{A2B}(a))]\text{\hspace{1em}(2.4.1)}$$

  • A到B的判别网络loss（$D_B$主要是判别$los{s}_{fake}$），生成网络loss（$G_{A2B}$loss）：
    • $im{g}_A\to G_{A2B}(im{g}_A)\to fak{e}_B\to D_B(fak{e}_B)\to vali{d}_B$
    • 输入$im{g}_A$，输出$vali{d}_B$，判别网络$D_B$目标$fake$，生成网络$G_{A2B}$目标$valid$。
  • 真实数据B的鉴别网络loss（$D_B$主要是判别$los{s}_{real}$）：
    • $im{g}_B\to D_B(im{g}_B)\to vali{d}_B$
    • 输入$im{g}_B$，输出$vali{d}_B$，鉴别网络$D_B$目标$valid$。

• 对于判别器$D_A(线2)$：
  $${\mathcal{L}}_{GAN}\left(G_{B2A},D_A,B,A\right)={\mathbb{E}}_{a\in {\mathbb{P}}_A}\log D_A(a)+{\mathbb{E}}_{b\in {\mathbb{P}}_B}\log [1-D_A(G_{B2A}(b))]\text{\hspace{1em}(2.4.2)}$$

  解释同上。

2.4.2 Cycle一致性损失：

• 对于生成器$G_{B2A}(线6)$和生成器$G_{A2B}(线5)$:
  $$\begin{array}{ll}{\mathcal{L}}_{cyc}\left(G_{A2B},G_{B2A}\right)=& {\mathbb{E}}_{a\sim p_{data}\left(A\right)}\left[||G_{B2A}\left(G_{A2B}\left(a\right)\right)-a|{|}_1\right]\\ & +{\mathbb{E}}_{b\sim p_{data}\left(B\right)}\left[||G_{A2B}\left(G_{B2A}\left(b\right)\right)-b|{|}_1\right]\end{array}\text{\hspace{1em}(2.4.3)}$$

  1. 生成网络loss（$G_{B2A}(G_{A2B})$ loss）：
     • $im{g}_A\to G_{A2B}(im{g}_A)\to fak{e}_B\to G_{B2A}(fak{e}_B)\to re{c}_A$；
     • 输入$im{g}_A$，输出$re{c}_A$，生成网络$G_{A2B}\to G_{B2A}$目标$img{s}_A$；
  2. 生成网络loss（$G_{A2B}(G_{B2A})$ loss）解释同上

2.4.3 Identity映射损失:

• 对于生成器$G_{B2A}(线3)$和生成器$G_{A2B}(线4)$:
  $${\mathcal{L}}_{Identity}\left(G_{A2B},G_{B2A}\right)={\mathbb{E}}_{b\sim p_{data}\left(B\right)}\left[||G_{A2B}\left(b\right)-b|{|}_1\right]+{\mathbb{E}}_{a\sim p_{data}\left(A\right)}\left[||G_{B2A}\left(a\right)-a|{|}_1\right]\text{\hspace{1em}(2.4.4)}$$

  1. 生成网络loss（$G_{B2A}$ Ident_loss）：
     • $im{g}_A\to G_{B2A}\to {im{g}_A}_{id}$
     • 输入$im{g}_A$，输出${im{g}_A}_{id}$，目标$img{s}_A$；
  2. 生成网络loss（$G_{A2B}$ Ident_loss）：
     • $im{g}_B\to G_{A2B}\to {im{g}_B}_{id}$
     • 输入$im{g}_B$，输出 ${im{g}_B}_{id}$，目标 $im{g}_B$ 。

2.4.4 整体损失

• 整体损失可以写成：
  $$\begin{array}{ll}{\mathcal{L}}_{GAN}\left(G_{A2B},G_{B2A},D_A,D_B\right)& ={\mathcal{L}}_{GAN}\left(G_{A2B},D_B,A,B\right)+{\mathcal{L}}_{GAN}\left(G_{B2A},D_A,B,A\right)\\ & +{\lambda }_{cyc}{\mathcal{L}}_{cyc}\left(G_{A2B},G_{B2A}\right)+{\lambda }_{id}{\mathcal{L}}_{Identity}\left(G_{A2B},G_{B2A}\right)\end{array}\text{\hspace{1em}(2.4.5)}$$
• 我们需要求解：
  $$G_{A2B}^{\ast },G_{B2A}^{\ast }=\arg \underset{G_{A2B},G_{B2A}}{\min }\underset{D_A,D_B}{\min }{\mathcal{L}}_{GAN}\left(G_{A2B},G_{B2A},D_A,D_B\right)\text{\hspace{1em}(2.4.6)}$$
• 对于原始架构，作者使用：
  1. 对于生成网络：两个 stride-2 卷积、几个残差块和两个带 stride 的分数步长卷积
  2. 对于生成网络：instance normalization
  3. 对于判别器：用PatchGAN
  4. GAN 目标的最小二乘损失。

3. 讨论

3.1 去掉重构误差？模型是否还有效？

模型仍然有效，只是收敛比较慢，毕竟缺少了重构误差这样的强引导信息。以及，虽然实现了风格迁移，但是人物的一些属性改变了，比如可能出现『变性』、『变脸』，而姿态在转换的时候一般不出现错误。这表明：$对偶重构误差能够引导模型在迁移的时候保留图像固有的属性$；$而对抗loss则负责确定模型该学什么，该怎么迁移$。

3.2 GAN（generative adversarial network）的生成模型为什么不直接用VAE（variational autoencoder）或者AE（autoencoder）？

• AE很难生成样本的原因是它对隐变量空间没有限制，很可能编码空间仍是一个非线性带边界的空间，随机取样时很有可能并不在编码空间内。VAE则限制了隐变量和先验的关系，取样时更有可能在解码器的“定义域”内。
• 参考：1. Adversarial Autoencoders
  2. 关于生成模型的一些小思考

3.3 为什么Cycle一致性损失和 Identity映射损失要用l1范式？

因为：$l_1正则是稀疏作用，先验分布是Laplace分布；l_2正则是绝对值最小，先验分布是Gaussian分布$。

4. 参考

1. CycleGAN
2. CycleGAN模型原理
3. CycleGAN
4. 训练GANs，你应该知道的二三事
5. 关于生成模型的一些小思考
6. L1正则项laplace分布 L2正则项gauss分布的前因后果
7. Laplace（拉普拉斯）先验与L1正则化