编者按:图像翻译是近年来的研究热点,类比于自然语言翻译,它将输入图像的表达转化为另一种表达,在图像创作、图像风格化、图像修复、域自适应学习等领域有着广泛应用。然而现有技术通常仅能产生合理的目标域图像,其具体风格并不可控。为此,微软亚洲研究院视觉计算组近期提出基于范例的图像翻译技术 CoCosNet,建立原域图与目标域范例图像的密集对应,使生成图片精细匹配范例图片风格。
CoCosNet 方法在一系列任务(语义分割->自然图像、轮廓->人脸图片、关键点->姿态图片)中,生成质量大幅领先现有方法,且图像风格精细可控。此外,我们利用弱监督学习得到跨域图片之间的密集对应,实现如图像编辑、人像批量上妆等有趣应用。这项成果将发表于 CVPR 2020 oral 论文“Cross-domain Correspondence Learning for Exemplar-based Image Translation”。
只需寥寥数笔,图像翻译助你成为神笔马良。作为生成对抗模型的研究分支,图像翻译(image translation)技术近年来取得了一系列突破。
它将图片从一种域(domain)的表达形式转换为另一种表达,而域可以定义得很广泛:如将域按照性别划分,那么网络将学习人像性别转换;如域表征为不同画风,那么网络将学到毕加索到莫奈的创作风格迁移;当域定义为草图或风景图,网络则从草图生成风光大片。
简而言之,图像翻译技术需要两个域的图片作为训练数据,域内的图片共享相同的属性,而域间有着共同的属性区别,网络则学习两种数据分布之间的映射。我们甚至可以用这项神奇的技术,将人像中戴有的 N95 口罩一键去除,生成靓丽自拍,一扫疫情带来的心情阴霾。
图像翻译技术可谓百花齐放,而它的发展也沿着一条清晰的脉络。CVPR 2017 上首先提出的 Pix2Pix 需要配对监督,之后的无监督图像翻译工作 CycleGAN 大大拓展了应用范围;针对它们仅能生成单张目标域结果的问题,随后的 BiCycleGAN、UNIT/MUNIT、DRIT 等工作进一步支持多模态(multi-modal)图像的生成。此后,图像翻译朝着更高分辨率(Pix2PixHD),更高质量(GauGAN),视频(Vid2Vid),小样本适应(FUNIT)等方向扩展 [1]。
然而,两个问题依旧有待解决:
1)尽管最近的工作支持多模态图像生成,但其结果是从隐空间中采样得到的生成结果,生成图风格不可预知,用户无法指定具体实例的样式(如红色的法拉利、橘红的天空);
2)现有方法的图片往往有较明显的瑕疵,影响用户体验。
技术路线
我们认为基于范例(exemplar-based)的技术路线能较好地解决上述问题。具体地,网络接受输入域图片的同时,接受一张目标域的范例图片,该范例图片与输入图有相似的语义且具有用户期望的目标风格。网络同时以输入图和范例图做条件(condition),学习输出符合指定风格的图片。
值得注意的是,一些先前工作也支持范例输入,但这些方法将范例图片编码为一维风格编码(如长度为512维的向量),但我们认为这样的一维编码不足以刻画细致的实例风格,因而这些方法仅能大致地影响整体图片风格。
因此,我们提出建立两个域图片(输入图及范例图)之间的密集语义对应(dense correspondence),进而依赖这样的对应,定位输入图在范例中相应位置的颜色、纹理信息,使得生成图片风格精细匹配范例中相同语义的物体(例如,草图的生成结果中,眼睛应该采用范例中的人眼细节)。同时,这样的方法也有助于降低网络学习难度、提高输出图片质量——这是因为网络可以更多地参考范例图中的细节,而无需预测物体的纹理细节。
于是,我们的生成任务归结于,如何精准地找到输入及范例之间的语义对应。这里有两大挑战:
一是输入图和范例来自不同的域,它们的图像块(image patch)有着巨大的图片域差异(domain gap),因而我们无法用某种预先定义的距离指标(如颜色的欧氏距离)直接对应两类图片的图像块;
另一方面,我们很难取得这样的标注信息,即不同域图片之间的语义对应,来作为网络训练的监督信息。如图1,建立自然人脸与油画人像之间的密集对应,事实上是困难的,而这样的跨域语义对应(cross-domain semantic correspondence)问题也是首次被提出。
图1:左,建立跨域图片的语义对应。右,图像生成
那么如何解决跨域语义对应,并利用好对应关系实现图像生成呢?
我们注意到,两个任务有着相辅相成的联系(图1):正确的语义对应,有助于指示网络参考范例的颜色及纹理,从而提高最终图像质量;
反之,如果网络包含跨域对应的子模块,那么生成高质量图片的目标会反过来要求子模块找到合理的对应。基于这个想法,我们提出CoCosNet(CrOss-domain COrreSpondence network for image translation) 联合训练跨域对应和图像生成,其中跨域对应通过弱监督学习(weakly supervised learning)的方式得以建立。如图2所示,我们的方法精确匹配用户给定的范例风格的同时,大幅提升了图像质量。在复杂数据集 ADE20k 上,FID(Fréchet inception distance)由此前的33.9降低至26.4。
图2:CoCosNet 生成图。我们在三个任务上进行了实验,在语义分割蒙版->场景图像(1-2行)、轮廓->人脸图片(3-4行)、骨骼关键点->姿态图片(5-6行),均取得了迄今为止最高的生成质量。
具体方法
图3:CoCosNet 网络框架
我们提出的 CoCosNet 框架如图3所示。原域 A 中的输入图表示为 x_A,目标域 B 中的范例图表示为 y_B,我们希望网络学习得到输入图在 B 域中的对应 x_B=G(x_A, y_B)。
整个网络由两个子网络构成。第一部分为跨域对应(cross-domain correspondence)子网络,其用于找到输入 x_A 与范例 y_B 之间的密集对应。
然而,与一般的语义对应方法(如 SFNet [2])不同的是,这两种输入来自于不同的域——如图3中 x_A 是语义分割,y_B 是一张自然室内场景,而我们无法用预先训练的分类特征提取器(如 pretrained VGG/ResNet)来提取两种输入的特征。于是,我们想到利用训练集中 x_A 和它在目标域的配对 x_B,来训练两个域的特征提取器 (F_(A→B) 和 F_(B→A)),使得他们提取到的特征可以适应到一个对齐的隐空间,我们定义域自适应损失函数为:
当输入 x_A 与 y_B 时,我们有理由相信,他们同样被适应到共有空间中,该空间保留了两张图片的语义特征。我们可以在这个特征空间中算两张图两两位置间的相似度矩阵 M,其中矩阵元素 M(u,v) 表示 x_A(u) 与 y_B(v) 之间的语义相似性。这个相似度矩阵也可以理解为注意力机制,因而 x_A 的对应点实际上是 y_B 中每个点的加权和,其权重取决于他们之间的语义相似度。因此,如果学习得当,我们将得到变形的 y_B(记为 r_(y→x),也就是图3中的 warped exemplar),该图与输入 x_A 语义对齐。这里,我们引入一个对应关系正则项,要求 r_(y→x) 经过反向形变后可以重建范例图片:
网络的第二部分为图像转换子网络(translation network)。这个网络尝试从输入 x_A 和与它对齐的范例 r_(y→x) 生成最终图像。这里我们采用改进的空间自适应去正则化层(spatially-variant denormalization layer)[3]:利用简单变换将 x_A 和 r_(y→x) 映射为正则化层的调制系数,通过调制正则化层来实现对生成图片的风格调制。这也类似于 StyleGAN [4]利用条件正则化层(BN)来改变生成风格,而我们做法区别在于,条件输入 x_A 和 r_(y→x) 为二维图像,正则化统计量(μ_(h,w),σ_(h,w))、去正则化系数(α_(h,w),β_(h,w))都是空间自适应的:
空间自适应在我们的任务中非常重要,它有助于将范例图像中的风格精细迁移到最终生成图片中,且通过反传,前面的跨域对应子模块能学到精细的语义对应。
为了学到正确的对应关系,我们对输出图像施加以下约束。
1)特征匹配损失(perceptual loss):输出图像必须符合输入图片的语义约束,因此,我们要求它们经过预训练 VGG19 后的高层特征——Relu4-2层——应保持一致;
2)上下文损失(contextual loss)[5]:输出图像应和范例图的对应物体风格相一致,为此我们在 VGG19 的低层特征图(Relu2-1, …. Relu5-2,更多的包含颜色,纹理信息)上匹配二者的统计分布。
3) 对抗损失函数(adversarial loss):我们联合训练判别器 D,使得最终的输出图片难以与真实图片区分开来;
4)特征匹配(feature matching):我们将 x_B 做形变增强,构造为 x_A 的伪范例,这样的伪范例对(pseudo exemplar pair)的输出应能完美重建 x_B,这里我们采用 VGG 特征匹配损失函数。
综上,总的训练目标为:
实验结果
我们在 ADE20k、CelebA-HQ 以及 Deepfashion 数据集上进行了验证,这三个数据集的任务分别为:语义分割->自然图像、轮廓->人脸图片、骨骼关键点->姿态图片。我们和之前的最好方法进行了多方面比较,首先是定性比较结果:
图4:不同方法的定性比较结果
如图4,对于最后一列表征所用到的范例图片,我们的结果(倒数第二列)相较之前方法取得明显的质量提升,且生成风格精细匹配范例图片。定量结果也进一步验证了我们的优势:如表1所示,我们的方法在三个任务中 FID 及 SWD 两个指标均显著降低。
表1:图片质量的定量比较。我们采用 FID 和 SWD 两种指标,在不同任务中均取得明显优势
更多的定量比较请详见我们的论文。这里我们展示更多的结果(图5-7)。
图5: 复杂数据集 ADE20k 上语义分割->自然场景的图像翻译结果
图6:CelebA-HQ 数据集上人脸轮廓->人像图像翻译结果
图7:Deepfashion 数据集上姿态关键点->人体姿态图片的图像翻译结果
我们的方法首次建立了跨域图片的密集对应关系,而这种对应关系完全通过弱监督学习得到。在图8中,我们手工选择了若干关键点,他们均在自然图片中找到了准确的对应。
图8:我们的方法利用与图像生成联合训练的方法,在弱监督训练下建立了稳定的跨域对应关系
更多应用与 Demo
在可控图像翻译外,得益于跨域对应关系,我们的方法可以拓展至更多的应用。
首先,我们实现了图片编辑:用户首先得到输入图片的语义分割,接着用 UI 修改语义构图。原输入图片视为范例,我们的方法将得到新构图下的图片结果。
图9:图像编辑。用户可以简单地通过修改语义分割图(中),实现对输入图片(左)的增删改(输出结果为右图)
这一方法还可以用于人像批量上妆。用户可以选择在给定的一张人像用 PS 上妆,这个上妆过程往往是笔刷涂抹,利用人像之间的对应关系,我们可以批量将笔刷应用到其他人像上。下图中我们为一批图片加上烟熏妆。第一列为手工 PS,后面几列均为算法迁移结果。鉴于程序员审美与 PS 技术有限,相信专业人士能用我们的算法得到更出众的结果。
图10:我们的算法将用户上妆的 PS 笔刷一键迁移到其他人像
最后,受到之前工作的启发,我们从 Flicker 上获取了5万张风景图片作为训练数据,让用户能够通过手工描画语义分割一键生成风景大片。与之前的工作相比,我们生成的质量更高,且允许用户通过选择范例图来指定风景照风格。下图是我们得算法生成的风景大片。
图11:算法可以按照用户手绘的语义构图生成风景图
结语
本文介绍了基于范例的精细可控图像翻译,CoCosNet 方法在多个任务上大幅提高现有图像翻译的生成质量,且具有风格可控的特性。我们注意到,近期的 StarGAN v2 [6] 同样支持基于范例的图像翻译。与其相比,我们相信显性地建立跨域对应有助于提高生成质量,之后也会进行更详细地对比。下一步,我们会将 CoCosNet 方法拓展至更高清图片生成领域。
代码即将开源,更多的算法细节请见论文。
论文原文: Cross-domain Correspondence Learning for Exemplar-based Image Translation
论文链接:https://arxiv.org/abs/2004.05571
项目网址: https://panzhang0212.github.io/CoCosNet/
参考文献
[1] Wu, Xian, et al. "A survey of image synthesis and editing with generative adversarial networks." Tsinghua Science and Technology 22.6 (2017): 660-674.
[2] Lee, Junghyup, et al. "SFNet: Learning object-aware semantic correspondence." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
[3] Park, Taesung, et al. "Semantic image synthesis with spatially-adaptive normalization." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
[4] Karras, Tero, et al. "A style-based generator architecture for generative adversarial networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
[5] Mechrez, et al. "The contextual loss for image transformation with non-aligned data." Proceedings of the European Conference on Computer Vision (ECCV). 2018.
[6] Choi, Yunjey, et al. "StarGAN v2: Diverse Image Synthesis for Multiple Domains." arXiv preprint arXiv:1912.01865 (2019).
END
备注:GAN
GAN
生成对抗网络、GAN等技术,
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看,让更多人看到