[论文笔记]Toward Characteristic-Preserving Image-based Virtual Try-On Network

这篇论文在VTION基础上进行了改进，提出两个模块GMM与Try-On，能够将服装转换为适合目标人物的体型，并保留服装的细节(例如纹理、标志、刺绣等)。作者在论文中提到，该论文主要有四大贡献：

（1）提出了一种新的虚拟试穿网络CP-VTON（Characteristic-Preserving image based Virtual Try-On Network），解决了在真实的虚拟试穿情况下面临的在大空间变形时的服装细节的保留问题。

（2）通过GMM模块整合了全学习的TPS，用来获得更健壮和更强大的对齐图像。

（3）在给定对齐图像的基础上，通过Try-On模块来动态合并渲染结果与变形结果。

（4）CP-VTON网络的性能已经在Han等人收集的数据集上进行了证明。

一、Motivation

该论文将基于图像的虚拟试穿任务看作一个 image-conditioned generation 问题，而之前的条件图像生成工作无法满足虚拟试穿中“在保留目标服装细节的情况下将服装转换为适合目标人物的体型”这一关键要求，于是作者提出了一个网络CP-VTON，它通过几何匹配模块GMM，将目标服装转换为适合目标人物体型的形状，之后，通过Try-On模块将变形后的服装与人物整合并渲染整合后的图像，从而有效解决该关键要求。

二、CP-VTON

CP-VTON的网络结构：