【论文阅读-2】Contrastive Learning for Unpaired Image-to-Image Translation（CUT）

CUT阅读笔记

• 论文标题： Contrastive Learning for Unpaired Image-to-Image Translation
• 论文作者：Taesung Park, Alexei A. Efros, Richard Zhang, Jun-Yan Zhu
• 机构：University of California, Berkeley; Adobe Research
• 开源代码：https://github.com/taesungp/contrastive-unpaired-translation

1. 文章整体理解

1.1 相关知识回顾

• $图像转换$（image-to-image translation）的任务是在保留输入图像的结构特征的基础上，加入目标域的外观特征。一个经典的任务就是把马转换成斑马，在保留输入的马的图像结构的同时，将纹路换成目标域（斑马）的纹路。
• 目前主流的方法大都是基于CycleGAN方法及其变种，利用：
  1. $对抗损失$（adversarial loss）强化目标域的外观特征;
  2. $循环一致性损失$（cycle-consistency loss）来保证原始输入图像的结构不变;
  3. $一致损失$（Identity Loss）控制生成器（或者说生成图片）的色调，控制整体的颜色产生变化。

但是CycleGAN的假设非常严格，要求输入的图像域和目标域之间存在双射关系，这一点在其实是很难满足的。

1.2 CUT特点介绍

以下只是个人理解，有错误请指出！不喜勿喷~

• 本论文（CUT）提出了一个替代性方案：

  1. 把$对比学习$应用到Image-to-Image中。
     

  2. 只需要$训练一个生成器和判别器$。

  3. 使用最大化输入输出图像块的互信息（mutual information）来替代循环一致性损失，使用$infoNCEloss$作为对比损失函数， 来学会一个生成器。
     

  4. 应用生成器（由$编码器和解码器$组成)中的$编码器$将对应的图像块之间相互联系起来，通过$MultilayerPatchwiseContrastiveLoss$使得编码器专注于两个域之间共性的部分如形状，而忽略两个域之间的差异性部分如纹理。
     

  5. 相比于$对比学习$需要使用$Internal+ExternalPatches$，$CUT$仅仅使用$InternalPatches$。
     

     1. $InternalPatches$还用在：
        1. Texture Synthesis by Non-parametric Sampling
        2. ‘Zero-Shot" Super-resolution using Deep Internal Learning
     2. 作者认为：It’s because the external patches are too easy to distinguish, and they sometimes contain false negatives, like the highlighted horse head patch.

  6. CUT从单张图像本身中提取负性图像块的效果要好于从整个数据集中其他的图像中提取，因此CUT甚至可以在单张图像上实现图像转换。

  7. $当某个域的图像由相较于另一个域更多的信息时，可以获得很好的效果$。
     

2. 相关概念

2.1 图像转换（image-to-image translation）

• 对称图像转换（pix2pix），使用对抗损失和重建损失形成输入和输出图像之间的映射。
• 非对称图像转换，没有目标域的对应样本，循环一致损失成为事实上的标准做法(例如CycleGAN），通过学习一个从目标域到输入图像的映射，来检查是否输入图像被正确映射到了目标域。之后的做法大多是在循环一致损失的基础上完成的（如UNIT,MUNIT）。
• 在非对称图像转换领域，循环一致损失主要在：$图像与图像之间，隐空间到图像，图像到隐空间$，三个层面上使用。
• 循环一致损失都基于输入域和目标域之间存在双射关系的严格假设，$当某个域的图像由相较于另一个域更多的信息时就更难获得很好的效果$。

2.2 关系保存（relationship preservation）

• 为了避开双射的限制，一个替代的想法是：$输入图像中存在的关系，类似地也应该在生成的图像中$，就比如同一张图内近似的图像块，在生成的图像中也应该有这样近似的图像块。

  1. TraVeLGAN, DistanceGAN and GcGAN通过预定义的距离函数保证共享相似的内容，或是使用triplet loss保存输入图像之间的向量计算；
  2. 计算输入图像之间的距离和生成图像的距离使之保持一致等等做法，绕开循环一致性损失的限制。

  但是这些方法要么是需要预定义一个距离函数，要么保存的关系是基于整个图像的。

• CUT是通过$最大化互信息的方法$，学习一个输入输出图像块之间的相似性函数，避免了以上的方法的缺陷。

2.3 深度网络的感知相似性度量

​1. 大多是图像转换工作都是使用$逐像素重建$进行度量，这无法反映人类的感知习惯并且会导致生成图片非常模糊。
2. 定义一个$高维信号的感知距离函数$，这一点使用在ImageNet上预训练的VGG分类网络就可以实现 ，并且其在人类感知测试中取得了超过传统度量方法（SSIM and FSIM）的效果。但是这个方法没法适应其他的数据集，并且它也不是一个基于图像对的相似性度量。

ImageNet上预训练的VGG分类需要去了解！

3. CUT以互信息作为约束，将图像本身中的负样本利用起来，可以适用于不同特定的输入输出域，从而避免了对相似性函数的预定义。

2.4 对比特征学习

​1. 传统的无监督学习需要预先设计好的损失函数来衡量预测表现，新的方法通过最大化互信息绕开这个问题，使用噪声对比估计（$noisecontrastiveestimation，NCE$）来学习一个Encoder，将关联的信号拉近，并与数据集中的其他样本形成对比。
2. CUT首先将infoNCE loss应用到了条件图像生成领域。

3. CUT方法的数学表达

3.1 相关定义

1. 图像输入域为 $\mathcal{X}\in {\mathbb{R}}^{H\times W\times C}$ 而输出图像域 $\mathcal{Y}\in {\mathbb{R}}^{H\times W\times 3}$ ，数据集为 X = { x ∈ X } , Y = { y ∈ Y } X=\{x \in \mathcal{X}\}, Y=\{y \in \mathcal{Y}\} X={x∈X},Y={y∈Y}。
   在CUT的方法中数据集可以只包含单张图像。
2. 在CUT方法中，生成器被$G$分解为两个部分, 先是一个$Encoder$再是一个$Decoder$，这样生成输出图像$\hat{y}$可以表示成：
   $$\hat{y}=G(z)=G_{dec}(G_{enc(x)})\text{\hspace{1em}(3.1.1)}$$
3. 最大互信息采用$NoiseContrastiveEstimation(NCE)$框架。对比学习的问题有三个信号组成：$query和正样本，负样本$，要做的就是让query和正样本信号相关联和负样本形成对比。
   1. 将query和正样本， 以及N个负样本，分别映射成$K$维向量
      $$v,v^{+}\in {\mathbb{R}}^K,v^{-}\in {\mathbb{R}}^{N\times K}\text{\hspace{1em}(3.1.2)}$$
      其中$v_n^{-}\in {\mathbb{R}}^K$表示第$n$个负样本。
   2. 将这些样本$归一化至单位球$中，防止空间扩张或坍缩。这样就形成了一个$N+1$的分类问题。
   3. 交叉熵损失计算如下其中$\tau$是比例超参，常被称为温度系数，表示正样本被选中的概率。
      $$\ell (v,v^{+},v^{-})=-\log \left[\frac{\exp (v\cdot v^{+}/\tau )}{\exp (v\cdot v^{+}/\tau )+{\sum }_{n=1}^N\exp (v\cdot v^{-}/\tau )}\right]\text{\hspace{1em}(3.1.3)}$$

3.2 CUT的损失函数

3.2.1 GAN对抗损失

在GAN的图像生成部分，CUT仍然是使用GAN的对抗损失(此处用$BCE$，也可以使用$MSE$)，保证生成的图像能和目标域的图像尽可能相似，这部分的损失就是：
$$\mathcal{L}(G,D,X,Y)={\mathbb{E}}_{y\sim Y}\log D(y)+{\mathbb{E}}_{x\sim X}\log (1-D(G(x)))\text{\hspace{1em}(3.2.1)}$$

3.2.2 PatchNCE损失

1. CUT用的对比学习，既有图像层次也有图像块层次，即：对整个输入、输出图像应该有着同样的结构，对应的图像块之间也应该有相应的结构 。此处用多层次图像块（multilayer patch-based） 的学习目标。
2. 通过Encoder $G_{enc}$编码特征层，其中不同层、不同空间位置代表了不同的图像块，层数越深图像块越大。
3. 假设选择感兴趣的共$L$层的特征图，将其通过2层$MLP$网络$H_l$产生的特征为：
   { z l } L = { H l ( G e n c l ( x ) } L (3.2.2) \{z_l\}_L=\{H_l(G^l_{enc}(x)\}_L\tag{3.2.2} {zl​}L​={Hl​(Gencl​(x)}L​(3.2.2)
   其中：
   • $G_{enc}^l$表示第 $l$ 层输出特征。$z_l$表示第$l$层特征。
   • $l$表示层数（ l ∈ { 1 , 2 , 3 , . . . , L } l\in\{1,2,3,...,L\} l∈{1,2,3,...,L}) ; $s$表示每层的patch数(   s ∈ { 1 , 2 , . . . , S l } \ s\in\{1,2,...,S_l\}  s∈{1,2,...,Sl​})， 其中$S_l$表示第$l$层有$S_l$个空间位置。
   • $z_l^s\in {\mathbb{R}}^{C_l}$表示第$l$层里第$s$个patch对于的特征向量的维度为$C_l$（或者说特征维度为$C_l$）。
   • 如下公式表示第$l$层，所有的patch$S$中除去$s$的特征：$$z_l^{S\backslash s}\in {\mathbb{R}}^{(S_l-1)\times C_l}\text{\hspace{1em}(3.2.3)}$$
   • 输出图像$\hat{y}$表示：
     { z ^ l } L = { H l ( G e n c l ( x ) } L (3.2.4) \{\hat z_l\}_L=\{H_l(G^l_{enc}(x)\}_L\tag{3.2.4} {z^l​}L​={Hl​(Gencl​(x)}L​(3.2.4)
4. CUT的目标是将输入输出对应位置的图像块进行匹配，同一张图像其他位置的图像块作为负样本，将损失记做PatchNCE loss($\ell$为公式(3.1.3))：
   $${\mathcal{L}}_{PatchNCE}(G,H,X)={\mathbb{E}}_{x\sim X}\sum _{l=1}^L\sum _{s=1}^{S_l}\ell ({\hat{z}}_l^s,z_l^s,z_l^{S\backslash s})\text{\hspace{1em}(3.2.5)}$$

3.3.3 External 损失

增加负样本$\tilde{z}$，形成负样本字典$Z^{-}$：

1. 可以从数据集的其他图像中提取图像块做负样本记做$\tilde{z}$；
2. 可以像MOCO一样用一个辅助的移动平均Encoder${\hat{H}}_l$和移动平均 $MLP\hat{H}$共同计算。
   $${\mathcal{L}}_{external}(G,H,X)={\mathbb{E}}_{x\sim X,\tilde{z}\sim Z^{-}}\sum _{l=1}^L\sum _{s=1}^{S_l}\ell ({\hat{z}}_l^s,z_l^s,{\tilde{z}}_l)\text{\hspace{1em}(3.2.6)}$$

3.3.4 整体损失函数

1. 最终的目标函数，和CycleGAN一样也添加一致损失（identity loss）${\mathcal{L}}_{PatchNCE}(G,H,Y)$，以使${\mathbb{E}}_{y\sim Y}\Vert G(y)-y{\Vert }_1$尽量小避免生成器对产生的图片造成不必要的变化。所以总损失包含对抗损失，对比损失，一致损失三个部分。
   $$\mathcal{L}(G,D,X,Y)+{\lambda }_X{\mathcal{L}}_{PatchNCE}(G,H,X)+{\lambda }_Y{\mathcal{L}}_{PatchNCE}(G,H,Y)\text{\hspace{1em}(3.2.7)}$$
2. CUT模型和FastCUT模型
   • 当使用${\lambda }_X=1,{\lambda }_Y=1$联合训练时称为CUT；
   • 当取${\lambda }_Y=0$时，作为补偿取${\lambda }_X=10$时称为FastCUT, 可以被看做是更快更轻量级的CycleGAN。

4. 实验

4.1 数据下载

下载网址：https://people.eecs.berkeley.edu/~taesung_park/CycleGAN/datasets，我下载了horse2zebra.zip进行实验。

4.2 pycharm中配置参数

• 点击上面窗口中的run，然后选择Edit Configurations
  
• 输入：

--dataroot ./datasets/horse2zebra  --name horse2zebra_CUT  --CUT_mode CUT

4.3 安装和运行visdom库

参考：Visdom库（pytorch中的可视化工具）安装问题的解决方案及使用方法详解
迭代190次的效果

4.4 Internal Patches Vs External Patches

• 构造的负样本是从目标图像其他位置选的patch（本文称之为Internal Patches），
• 从其他图像选一些patch来当做负样本（本文称之为External Patches），本文就做了关于这个问题的对比试验：
  
  可以看出来，在仅有External Patches和Internal Patches+External Patches的情况下，对比只有Internal Patches，性能都有不同程度的下降。这里文中给出了一点直观的解释：

  作者认为：It’s because the external patches are too easy to distinguish, and they sometimes contain false negatives, like the highlighted horse head patch.

4.5 实验评价

CUT从图像质量和发现对应关系的能力上进行评价：

1. 图像质量通过$FID$(Frechet Inception Distance) 进行度量；
2. 发现对应关系的能力使用生成器Encoder的第一个残差块，可视化输出对应图像块特征的相似性，并通过PCA可视化主成分，验证了Encoder学到了相似性函数。

   此处不是很懂。

4.6 出现问题的解决

1. Q: AttributeError: Can't pickle local object 'Visdom.setup_socket.<locals>.run_socket'
   解决： If your OS environment is windows, try changing the default "num_threads" argument to 0 in base_option.py in the options folder.

5. 个人理解

5.1 相较于CycleGAN

1. CUT只需要1个生成网络和一个判别网络，使得训练速度更加快。
2. CUT用了Multilayer Patchwise Contrastive loss，损失函数不仅仅是pixel-to-pixel层面。
3. CUT的映射没有要求是双射。
4. 虽然CycleGAN的Discriminater用了PatchGAN，但是CUT用了信息熵进一步增强的正负样本之间的距离。

5.2 相较于传统对比学习（MoCo、SimCLR）

1. 传统对比学习用same image+ random image 作为负样本不同，CUT只对same image进行处理，所有的patch都是来自于same image.
2. CUT增加了Identity Loss，进一步优化图像的质量。

参考：

1. CUT 论文阅读
2. 图像风格转换 之 CUT 论文解读与感想
3. CycleGAN原理