【虚拟试衣论文笔记】CP-VTON+: Clothing Shape and Texture Preserving Image-Based Virtual Try-On

论文地址：http://users.cs.cf.ac.uk/Paul.Rosin/resources/papers/CP-VTON+.pdf
项目地址：https://github.com/minar09/cp-vton-plus

基于图像的虚拟试衣方法的处理流程通常有两个阶段：将试穿的服装扭曲以与目标人物对齐的几何匹配模块（GMM）和将扭曲的服装与目标人物图像混合的Try-On 模块 (TOM)。

文章揭示了基于图像的虚拟试衣方法存在的挑战和问题的根源，并通过改进输入表示和改良训练成本函数来重新设计pipeline。

首先，纠正了错误的服装不可知（cloth-agnostic）人体表示：人体解析图中胸部区域的错误标记以及保留区域的衣服遗漏。
其次，作者观察到了服装变形网络中的问题：不平衡的几何匹配输入和训练损失函数。
最后，其使用输入的服装掩码和一个具体的损失函数来改进合成掩码（composition mask）。

GMM阶段

GMM阶段的改进体现在三个方面：

1、在VITON数据集中，颈部和裸胸区域被错误地标记为背景，并且身体形状经常因毛发遮挡而变形。作者改在标签集中添加一个新的标签“Skin”，然后利用原始人体图像和关节位置从错误的标签“Background”中恢复对应区域的标签。为了恢复身体上的毛发遮挡，作者将毛发遮挡区域识别为上衣凸出轮廓与毛发标记区域的交点，并将交点重新标记为上衣。
2、CP-VTON GMM的输入是二值掩码信息、轮廓、关节heatmap和RGB in-shop 服装。由于衣服的彩色纹理在匹配过程中没有帮助，本文的 GMM 将RGB in-shop 服装替换为二值mask。
3、针对服装过度扭曲的问题，作者无法解释其根源，但认为由于服装纹理的限制，TPS 参数估计需要正则化。 为了便于理解和可视化，本文提出的网格扭曲正则化是在网格变形上定义的，而非直接定义在 TPS 参数上，使得前后网格间隙不会有太多不同的扭曲。

TOM 阶段

TOM 阶段的改进也是三方面的：
1、为了保留目标服装区域以外的其他人体成分，所有其他区域都添加到 TOM 的人体表征输入中。
2、在 TOM 损失函数中的掩码损失项中，我们将 Composition Mask 替换为有监督的 ground truth Mask 以获得强 alpha 掩码。
3、将扭曲服装的二值 Mask 添加到 TOM 网络输入中，因为在衣服和背景都是白色的情况下 TOM 往往无法识别。

训练细节

CP-VTON+ 扩展了 CP-VTON 实现。 对分割进行了自动细化。
对于训练，使用与CP-VTON类似的设置进行比较，即λ1=λV GG=λmask= 1和λreg= 0.5。
在所有实验中都使用了 VITON 数据集。
两个网络都使用batch_size=4训练了200K Steps，使用β1= 0.5和β2= 0.999的Adam优化器。
对于前 100K 步，学习率首先固定为 0.0001，然后在剩余的步中线性衰减为零。