VOTION：基于图片的虚拟试穿网络 翻译

论文：VITON: An Image-based Virtual Try-on Network

摘要

我们提供基于图像的虚拟试穿网络（VTION），无需使用任何形式的3D信息，它使用由粗糙到细致的策略，无缝地将目标衣物转移到一个人的相应区域。Conditioned upon a new clothing-agnostic yet descriptive person representation，我们的框架首先生成一个粗糙的合成图，图像中目标衣物以与模特相同的姿势覆盖在模特身上。我们用一个refinement network进一步增强初始的模糊区域。The network is trained to learn how much detail to utilize from the target clothing item，以及应用到该人像，以便合成逼真的图像，图像中的衣物会像现实中一样形变。我们新收集的 Zalando 数据集上的实验表明，在基于图像的虚拟试穿任务中，VOTION有望超越最先进的生成模型。

介绍

近几年我们已经见证了不断增长的在网上购买时尚品的需求。预计2022年美国在线服装和配饰销售额将从2016年的720亿件增至1230亿件。尽管网上购物提供了便利，顾客们还会考虑图片中的衣物在他们身上的试穿效果。因此，让购物者能够虚拟地试穿衣物，不仅能够让他们获得更好的购物体验、转变人们购衣的方式，还可以缩减商家的成本。受该点启发，各种各样的虚拟试穿房间/镜已经被TriMirror、Fits Me这类公司所研发。这些科技背后的核心促进因素是身体形状的三维测量技术的使用，要么用深度相机捕获，要么用训练数据从二维图片推断。然而这些三维建模工具使得真实的着装模拟成为可能，但其高昂的硬件安装和有注释的三维数据的收集成本限制了这些科技的大规模部署。

我们提供一种基于图像的虚拟试穿方法，这种方法仅需依靠普通RGB图像，不需要利用任何3D信息。我们的目标是通过将产品图像无缝地叠加到穿衣人相应的区域来合成逼真的新图像（如图1所示）。合成图像要达到以下要求：（1）模特的身体部分和姿势要与原始照片相同；（2）产品图片中的衣物要根据模特的姿态和身体形状自然形变；（3）细节性的visual pattern要能被看到，不仅包括低级的特征，如颜色或文字，还包括完整的图像，如刺绣、logo等。由于衣服的非刚性经常受到变形和遮挡的影响，对同时满足这些要求增加了难度，尤其是在没有3D信息的情况下。

图1. 我们的方法所生成的虚拟试穿结果。每一行显示了一个人虚拟试穿上不同的衣物。我们的模型在保持模特姿势和保留目标衣物的细节特征的基础上，自然地将衣物渲染到她们身上。

有条件的对抗生成网络（GANs），在图像生成方面已显示出令人印象深刻的效果，image-to-image translation和editting task，似乎解决这个问题的自然方法。