论文Multimodal Unsupervised Image-to-Image Translation

简介：

无监督图像迁移网络是计算机视觉领域的一个技术难题，即给定一张源域图像，如何在没有其他图像样本的情况下，学习相应目标域图像的条件分布。当处理多维条件分布时，现有的方法是在过度简化的假设条件下，通过绘制源域图像和确定的、一对一的目标图像来进行建模。

然而，上述方法无法用来生成给定源域图像的多种多样的目标图像。因此，本文提出了一种多维无监督图像迁移网络框架。

本文中假定代表图像可以被分解成域不变的内容代码，并能捕获特定于域的属性。为了能将图像迁移到另一个域中，本文通过对任意目标域图片的风格空间进行采样，并利用获得的风格代码生成内容代码。

代码：https://github.com/nvlabs/MUNIT

论文方法：

首先假设图像的潜在空间可以分解为内容空间和风格空间。进一步假设，不同领域的图像共享一个共同的内容空间，但不共享风格空间。为了将图像转换为目标域，我们将其内容代码与目标样式空间中的随机样式代码重新组合。

上图说明了论文提出方法，首先将每个域Xi中的图像进行编码后放入一个共享的内容空间C和特定于域的风格空间Si，每个编码器还有逆向解码功能。

其次，为了把域X1中的图像（例如一只美洲豹）迁移到域X2中（例如各种家猫），我们在目标风格空间（家猫风格）使用随机的风格代码重组了输入图像的内容代码࿰