ICCV2023,虚拟试穿COTTON，

Size Does Matter: Size-aware Virtual Try-on via Clothing-oriented Transformation Try-on Network

代码开源地址https://github.com/cotton6/COTTON- size-does-matter
论文下载地址https://openaccess.thecvf.com/content/ICCV2023/papers/Chen_Size_Does_Matter_Size-aware_Virtual_Try-on_via_Clothing-oriented_Transformation_Try-on_ICCV_2023_paper.pdf

虚拟试穿需要解决好如下几个问题:
1.如何理解试穿的衣服？
2.如何把试穿的衣服变换到目标图像上？
3.如何把原来的衣服去掉？
4.如何把人体和试穿衣服结合？

摘要

虚拟试穿任务旨在通过在人类身上试穿目标衣服来合成逼真的试穿结果。大多数先前的工作依赖于薄板样条或外观流来使衣服变形以适应人体形状。然而，这两种方法都无法处理复杂的翘曲，从而导致过度扭曲或错位。此外，还有一个关键的未解决的挑战，即调整试穿服装的尺寸。为了解决这些问题，我们提出了一个面向服装的转换试穿网络（COT-TON）。COTTON利用具有关键点和分割的服装结构，设计了一种新颖的关键点引导变形，用于精确地使衣服变形，从而允许在试穿过程中进行尺寸调整。此外，为了在不丢失重要人体特征的情况下从人体图像中正确去除衣服区域，我们提出了一种基于变换衣服和人体分割的服装消除策略。这种方法使用户能够试穿塞进或未塞进的衣服，同时保留更多的人体特征。定性和定量结果表明，COTTON优于最先进的高分辨率虚拟试穿方法。

1.简介

基于图像的虚拟试穿用所需的服装代替了人的服装，创造了逼真的试穿结果，降低了电子商务行业与模特照片相关的成本。此外，它使客户能够在网上购物时使用虚拟试衣间，从而可能增强电子商务体验并提高转化率。随着网上购物的流行，虚拟试穿任务受到了越来越多的关注[2,4,5,9,13,17,23,28,29,33,35]。例如，要将虚拟试穿分辨率从低（256×192）扩展到高（1024×768），最明显的困难是失准问题。[5]提出了对齐感知的分割归一化，以消除未对齐区域中的误导信息。此外， [23] 进一步同时执行基于外观流的变形和分割图生成，以解决未对齐问题。

虽然以前的工作已经取得了相当的进展，但仍有一些挑战还没有得到充分的解决，下面列出了这些挑战：
i）处理复杂失真的变形：一般的基于图像的虚拟试穿框架[5, 16, 21, 28, 31]通常采用服装变形模块，如Thin Plate Spline（TPS）方法，将服装图像与目标人体姿势对齐。然而，研究[6, 15, 23]发现，当不同服装区域需要不同的变形时，TPS可能不能有效地处理复杂的变形。在改进变形结果的尝试中，他们用密集的外观流替换了TPS。然而，当服装和相应身体部位之间的变换显著时（如图4中的案例II所示），TPS（VITON-HD [5]）和基于流（HR-VITON [23]）的方法的性能都急剧恶化。因此，现有方法仍然不能很好地解决服装变形的问题。
ii）调整服装尺寸：以前的工作只考虑了衣服的形状而没有考虑尺度信息，从而预测了试穿的分割。因此，给定一个服装图像，以前的工作无法改变服装尺寸。这一限制严重限制了虚拟试穿的实际应用，因为人们在试衣间经常试穿不同尺寸的服装。
iii）适当的服装消除策略：以前的工作[5,23,28]依靠分割映射来消除原始服装区域，并利用剩余区域作为试穿目标服装的指南。然而，这种方法可能导致原始图像的过多或不足的消除。例如，当之前的作品试穿上衣时，上衣的下半部分保持不变，这限制了上衣的长度，如图6所示。上身衣服的下半部分被迫被塞进，这降低了模型生成完整上身衣服的能力，从而降低了虚拟试穿的实用性。此外，之前的工作去除了输入人体图像的整个手臂，这消除了纹身和手臂宽度等基本人体特征，而这些特征应该在最终输出中保留，如图5中的情况I所示。因此，制定适当的服装消除策略，在去除服装区域的同时保留关键信息是一项重大挑战。

为了应对这些挑战，我们提出了一种简单而强大的方法，称为面向服装的转换试穿网络（COTTON）。具体来说，COTTON首先利用服装标记预测器和服装分割网络来挖掘几何信息，分别预测服装标记和分割掩模。为了克服复杂翘曲带来的第一个挑战，我们提出了标记引导变换，首先通过分割掩膜将衣服分成子部分，然后使用衣服标记来估计单应矩阵，这些矩阵将这些子部分与目标人体姿势相匹配。为了解决第二个挑战，我们引入了一种服装特征点调整方法，允许用户改变服装尺寸。调整界标会改变单应矩阵，进而导致服装尺寸的变化，如图1所示，这显著增强了虚拟试穿的实用性。为了解决第三个挑战，我们使用经过转换的服装图像来识别和去除衣服覆盖的区域。这使得我们提出的服装消除政策能够有效地消除服装区域，同时保留重要细节，并提供将衣服叠起或不叠起的灵活性，如图6所示。广泛的实验表明，COTTON在定量和定性方面都取得了优于现有技术的结果。我们的贡献总结如下：

1.我们提出了一种面向服装的转换试穿网络（COTTON），它通过利用服装几何来提高服装变换质量和解决复杂的翘曲失配问题。

2,我们还引入了可调整的服装标记，以仅基于图像提供服装尺寸信息。据我们所知，这是第一个实现基于2D的不同服装尺寸的虚拟试穿以接近真实试穿的作品。

3.为了保留关键信息，我们提出了一种服装消除策略，以适当地删除服装信息，同时保留有价值的人类特征，并提供灵活的塞衣服或不塞衣服的选择。

4.在Dress Code数据集上的大量实验表明，我们的模型显著优于SOTAs，例如，在FID方面至少提高了41.1%。

2.相关工作

2.1 衣服变形Clothing Deformation

虚拟试穿需要衣服变形来对齐图案并保留衣服细节。薄板样条（TPS）翘曲广泛应用于虚拟试穿任务[5,16,21,28,31]，但它对几何变化的建模能力有限，并导致不自然的变形。因此， [2, 6, 11, 13, 15, 17, 23] 作为 TPS 的替代方案进行了外观流程，但未对齐问题仍未得到很好的解决。为了解决错位问题， [5] 通过消除错位区域中不相关的服装纹理信息来改进 TPS。同时，通过设计路径来共同预测外观流和分割特征，改善了变形。然而，TPS和外观流都无法在不影响其他部分的情况下使服装的部分区域变形，例如，在不影响衣服的躯干部分的情况下，使袖子翘起以呈现双手叉腰的姿势，因为它们没有衣服的结构信息。为了解决这个问题， [33] 引入了标准化补丁来学习空间无关的服装特征，但由于缺乏语义信息，这种方法可能会破坏衣服的完整性。相反，我们提出的COTTON基于标志和分割掩码分离衣服，以保持服装的完整性，并根据特定的标志对齐衣服以解决错位问题。此外， [8] 是同时期的工作。我们的两项工作都通过人类服装对应来改善服装翘曲。虽然 [8] 依赖于计算密集型的 DensePose 方法，但我们提出的 LT 方法更高效，并能够进行服装尺寸调整。

2.2 虚拟试穿 Virtual Try-on

虚拟试穿方法可以分成基于3D的方法和基于2D的方法。由于基于3D的方法耗时，而实际场景需要快速的推理速度，因此我们关注基于2D的方法。基于TPS翘曲， [16]提出了一个粗到细的网络来合成基于图像的虚拟试穿结果。然而，由 [16, 31]合成的试穿结果没有提供人体部分清晰的轮廓，因为它们将人类视为一般的掩码而不是考虑语义信息，例如腿、头、四肢等。为了解决这个问题，[10,20] 提出了第一个语义引导的虚拟试穿网络，该网络预测目标语义分割以提供人类结构信息，用于网络合成逼真的身体部分。之后，许多试穿方法 [5, 6, 7, 9, 23, 29, 35] 在合成虚拟试穿结果之前设计了一个单独的阶段来预测目标语义分割。然而，如 [21] 所指出的，预测目标语义分割的单独阶段会导致误差积累。在本文中，我们提出了一个端到端的Outfit生成器，同时更新语义分割和试穿结果，并引入了一个服装消除策略来保留有价值的人类特征同时去除原始的服装信息。

3.本文方法

给定一个人像I和一件服装图像C，虚拟试穿的目标是获得一个人穿着C的服装的合成图像I'。我们设计了一个面向服装变换的试穿网络（COTTON），用于生成高分辨率的虚拟试穿结果。图2提供了所提出的COTTON的概述。我们使用服装标志预测器和服装分割网络分别捕获C的服装标志和服装分割图。

之后，我们根据服装分割图将衣服分成躯干部分Ctorse和肢体部分Climb。对衣服的分离使得COTTON能够区别处理每个部分，从而使其能够很好地处理复杂的翘曲。为了将衣服与目标人体姿势对齐，我们按照比例r调整服装标志以适应人体比例，并使用它们来计算单应性矩阵。COTTON然后使用仿射变换对衣服进行翘曲。翘曲后的衣服启示我们如何适当地移除图像I的服装区域，同时不丢失必要的信息。我们使用一个用户确定变量t来控制是否消除服装的重叠区域。在这种情况下，我们可以通过选择t的值来生成塞入或未塞入的试穿结果。最后，Outfit生成器同时采用人体和服装表示来生成试穿结果I'。

3.1. 服装标志预测器（CLP）

虚拟试穿最具有挑战性的问题之一是将服装图像C变换为适应目标人体姿势。为了解决这个挑战，之前的工作中提出了几种方法，包括TPS翘曲的超参数学习[5, 16, 28, 31]，以及基于流深度变形[6, 15, 23]。然而，这些方法从训练数据集中隐式地学习潜在几何信息，并且在处理复杂翘曲时仅获得平庸的结果。我们提出，显式的几何信息在虚拟试穿中起最关键的作用，并且可以利用它进一步提高性能。例如，通过深入理解服装几何形状，人类可以轻松抓住服装和人类之间的关系，即使服装具有不同的纹理和风格。因此，我们提出服装标志预测器（CLP）来提取显式的几何信息。

具体来说，为了利用服装的几何信息，我们提出的CLP被训练用于预测一组与人体姿势不同部分相关联的服装标志点KC，其中KP可以从现成的人体姿势估计方法（例如[3]）获得。KC的真实标签是手动标注的，并且地标数量因服装类型而异。对于上衣，|K|=10，包括脖子、肩膀、肘部、手腕和臀部。这些标志点明确地表明了服装和人体姿势之间的关系，因此可以作为生成变换矩阵的参考。给定服装图像C，CLP被训练以输出服装关节热图MˆJH和部分亲和性场MˆPAF。之后，通过使用匈牙利算法，从M_JH和M_PAF中获得预测的服装标志点KC。

3.2. 服装分割网络Clothing Segmentation Network

衣服的每个部分都有不同的特性，这些特性在转换过程中应该被考虑进去。例如，衣服的袖子在转换过程中通常会受到严重的扭曲，而躯干部分只会受到轻微的扭曲。另一个在服装试穿中常见的噪声是必须隐蔽的颈口区域，这个区域总是给试穿结果带来不必要的差异，因此应该被消除。虽然服装标志预测器提供了服装和人体姿势之间的联系，但是仅凭几个标志点很难识别不同的区域。为了找到每个区域的显式边界，像素级语义分割是必要的。因此，我们提出一个服装分割网络来预测服装分割掩码MC，将服装分为三个子区域，包括躯干部分、袖子和看不见的颈口部分。这样，每个子区域可以按照它的特点进行处理。

3.3. 关键点引导变换Landmark-guided Transformation

这里，我们介绍如何利用服装标志点KC和分割掩码MC实现高保真度的服装变换。我们首先通过服装分割图移除不需要的部分，如MC中的绿色区域，这是最终试穿结果中看不见的部分。然后我们将剩余部分分为两个部分，包括躯干部分和四肢部分。让Ktorso和Ktorso表示属于躯干部分的服装和人体关键点，例如肩膀和臀部。为了对齐躯干部分，我们计算一个3×3的齐次变换矩阵Htorso，它可以将服装标志点c→p投影到人体关键点上，如下所示：

之后，将该透视变换应用于得到变换后的躯干部分Ctorso。另一方面，由于四肢部分通常会受到严重的扭曲，因此需要一个更加复杂的处理过程。因此，我们并没有直接对整个四肢部分进行扭曲，而是基于服装标志点将四肢部分分解为四个子部分。以图3中的连帽衫为例。四肢部分被分解为两个上臂和两个前臂。我们基于服装标志点和人体关键点为每个子部分创建边界框，以获得每个子部分的面积。然后使用边界框的角落来计算4个齐次变换矩阵Hlimb_i,i ∈ {1, 2, 3, 4}，它们将每个子部分投影到目标人体。最后，将这四个子部分收集起来作为扭曲后的四肢部分Climb。

值得注意的是，预测的服装标志点KC只提供了一般情况下的服装与人体之间的关系。然而，由于人体比例因人而异，不同人身上同一件衣服的相对大小可能会发生变化。为了生成更逼真的试穿效果，我们可以调整服装标志点KC以适应目标人体的比例。例如，如果两个人肩膀宽度相同，但躯干长度不同，他们身体被衣服覆盖的部分应该也不同。在这种情况下，预测的标志点会相应地调整以适应他们的身体比例。让r是躯干长度与肩膀宽度的比例，这可以从在线购物场景中客户提供的额外身体信息中得出。图1可视化不同r值下服装标志调整的结果，这表明服装覆盖的区域会随着不同的r而变化，从而可以生成不同尺码的试穿结果。

3.4. 服装消除策略Clothing Elimination Policy

由于虚拟试穿任务的目标是替换给定人物图像I的服装为目标服装，因此应该消除关于原始服装的信息。一种常见的做法是根据人体分割图S消除服装。然而，指出简单地从图像I中删除服装会导致性能下降，因为有关服装形状的信息泄漏，因此提出了一个与服装无关的人物表示来处理这个问题。然而，这种方法可能会导致有价值的信息损失，例如图5中情况I的臂宽，在推断过程中，整个手臂被直接屏蔽了。

因此，我们提出一个服装消除策略，用于推断阶段以保留重要信息，同时生成与服装无关的人物表示。图像I中应该消除的区域包括i)原始服装区域和ii)目标服装C穿戴时覆盖的区域。需要注意的是，后者难以用之前的方法进行测量。幸运的是，由于我们在之前的步骤中已经获得了可靠的扭曲后的服装图像，我们可以将其作为参考来找到试穿后会被覆盖的区域。具体来说，我们通过将原始服装区域和变换后的目标服装覆盖区域进行并集操作来创建服装消除掩码Melm，然后使用形态膨胀来覆盖整个身体。此外，当穿上衣时，我们通过控制t ∈ {0, 1}来决定是否消除下摆的重叠区域以调整衣服是否塞进裤子里。这样就可以有效地获得与服装无关的人物表示，而不过度屏蔽不相关的区域

其中M表示形态膨胀；St和Sb分别表示上衣和下装的分割结果。图1展示了不同t的结果。在消除服装信息后，我们获得了与服装无关的图像Ia和分割图Sa。为了缩小训练和推理阶段之间的性能差距，我们在训练阶段以50%的概率随机屏蔽整个人体的手臂，只在推理阶段应用我们的服装消除策略。

3.5. 服装生成器Outfit Generator

在最后阶段，服装生成器将个人信息（Ia、Sa和KP）和服装信息（Ctorse和Climb）作为输入，并合成最终试穿结果。由于同时学习服装的形状和纹理对于生成器来说很有挑战性，因此通常使用分割网络来预测分割掩码作为引导试穿生成器网络的线索[5][20][23]。然而，它们将分割预测视为一个独立的任务，并分别训练分割网络和试穿生成器。在这种情况下，两个网络的优化可能是次优的。此外，分割网络中积累的噪声可能会进一步降低最终合成结果的表现[21]。
为了解决这个问题，我们提出了一种新颖的服装生成器，将分割网络和试穿生成器合并为一个端到端训练的多任务网络。具体来说，Sa、KP、Ctorse和Climb首先被串联并下采样为较低的分辨率作为分割网络的输入来预测分割掩码S^。之后，S^被上采样回原始分辨率并与Ia以及Ctorse和Climb合并作为合成步骤的输入。

服装生成器的目标函数包括对预测的分割掩码和试穿合成结果的监督。我们使用焦点损失Lfocal[25]进行分割。对于试穿结果，我们使用包括重建损失Lrec、感知损失LVGG和对抗损失Ladv在内的损失。整体损失函数如下所示

4.实验

4.14.1.实验设置

数据集

我们创建了Pure Cotton，这是一个高分辨率(1024×768)的服装数据集，以减轻嘈杂数据对模型性能的影响。我们严格采用了一些规则来筛选不合适的数据，这在补充材料中明确列出，结果产生了16,428个正面人体模型和店内服装对，包括10,636件上装和5,792件下装。在训练和测试时，我们将上装集分为8,451对和2,185对，将下装集分为4,626对和1,166对。为了评估模型的鲁棒性，我们还对公共Dress Code数据集进行了实验【28】。

实现细节 为了训练服装特征点预测器(CLP)和服装分割网络(CSN)，我们收集了一个包含50张每种服装类型（例如衬衫、高领毛衣、连帽衫等）的图片的小型服装数据集，并手动标记了地标和分割掩码作为真实值。CLP的结构基于[3]中的结构，CSN的结构基于FCN-resnet50 [30]。此外，Outfit Generator采用Unet和编码器-解码器网络进行设计。为确保与之前的研究进行公平比较，所有图形均在tucked-in设置下生成，除非另有说明。这种设置与先前的研究是一致的。

基线
我们通过使用我们自收集的Pure Cotton数据集和公共Dress Code数据集[28]训练所有模型，将我们提出的方法与3个相关且最新的基线进行比较，包括HR-VITON [23]、VITON-HD [5]和PASTA-GAN [33]。具体来说，HR-VITON和VITON-HD都表示具有不同扭曲模块的SOTA高分辨率虚拟试穿方法。HR-VITON通过外观流扭曲服装并设计特征融合网络以消除不匹配问题，而VITON-HD则使用TPS扭曲服装并提出了一种对齐感知分割归一化方法来处理错位问题。同时，PASTA-GAN代表另一种扭曲方法，即 patch-routed disentanglement module，这与我们提出的服装变形方法更为相关。
评估指标
我们通过三种广泛用于虚拟试穿的指标评估模型性能，包括：i)结构相似性(SSIM) [38]、ii)学到的感知图像补丁相似性(LPIPS) [36]、以及iii)Frechet Inception Distance (FID) [18]。SSIM衡量重建结果与真实值之间三个关键特征的质量：亮度、对比度和结构。LPIPS评估感知相似性，而FID用于评估GAN性能。

4.2. 定性结果Qualitative Results

图4和图5展示了在Pure Cotton和Dress Code数据集上的可视化比较。总体而言，我们的模型取得了最令人信服的高分辨率试穿结果。比较分析如下：

之前的仿射变换方法，例如TPS（VITON-HD）和外观流（HR-VITON），没有考虑服装骨架和袖子的分割，因此无法准确地合成服装图案和特征在相应位置，例如颜色拼接（图4中的案例I）和特殊位置的logo（图5中的案例II）。此外，这些方法还无法解决区域性服装仿射，例如复杂姿势中的手臂交错（图4中的案例II）。相反，我们的模型通过执行服装地标预测器和服装分割网络来获取服装结构信息。然后，我们提出的基于地标的变换有助于对服装进行区域性仿射。这样，我们的模型就可以合成试穿结果，其中服装图案和特征位于正确的位置，紧密地跟踪目标服装图像，即使在复杂姿势中也是如此。另一方面，PASTA-GAN执行了一种类似于我们提出的区域性服装变形方法。但是，PASTA-GAN和我们的模型之间存在三个区别。首先，我们将服装分为5个区域，即躯干、右/左上臂和右/前臂，并保持躯干不分割。第二，我们进一步考虑服装分割，包括领口和肢体分割。第三，PASTA-GAN从另一张人像上的服装进行变形，如图4目标服装柱右下方的示例所示。由于这些差异，PASTA-GAN会产生奇怪的试穿结果，这些结果高度跟踪原始服装的绑扎和肢体姿势（图4上的蓝色圆圈和红色箭头）。相反，我们的模型利用服装结构信息来合成自然的服装皱纹。

额外的服装控制
我们提出的策略中的消除策略允许在虚拟试穿中具有更大的灵活性，同时可以选择塞入和未塞入的服装。如图6所示，以前的方法会限制上衣下摆位置基于原始下装的上边界。然而，我们的方法允许根据服装的人体长度来未塞入服装，为顾客判断服装风格提供了额外的线索。

部分服装调整大小：

除了展示图1中的COTTON服装大小调整外，我们还展示了它在图7中调整部分服装大小的能力。在现实世界中，服装设计师只会调整特定部分的尺寸，例如身体或袖子长度，而不是整个服装。COTTON可以通过调整相应的地标来平滑地操作部分服装的大小，而不会影响其余的服装。

4.3. 定量结果Quantitative Results

表1比较了COTTON与SOTAs在SSIM，LPIPS和FID方面的性能。我们对来自Pure Cotton数据集的2,000个随机配对测试集和来自Dress Code数据集的1,800个测试集评估了SSIM和LPIPS。对于FID，我们分别对来自Pure Cotton和Dress Code数据集的2,000个和1,800个非配对测试集进行了评估。穿着原始服装的人体图像用于FID计算的ground truth。结果显示，COTTON在两个数据集的所有评价指标上均一致优于基线，其中在Pure Cotton数据集上的LPIPS提高了至少18.6％，在Dress Code数据集上的FID提高了41.1％。这些结果表明，我们的方法在生成Pure Cotton数据集上的详细内容方面表现出色，并在Dress Code数据集上表现出稳健的结果。值得注意的是，COTTON在未塞入的衣服上表现较差，因为这会掩盖下装的上部，导致试穿结果与ground truth不同。尽管如此，图6表明，当衣服未塞入时，COTTON可以产生更具视觉吸引力的结果。

此外，我们在Pure Cotton数据集上进行了用户研究，以进一步评估人类的视觉质量。该实验涉及127名志愿者。我们随机采样了30个图像集，并将它们平均分为两组进行评估：i)照片逼真度和ii)试穿准确性。为了评估照片逼真度，志愿者会看到四个不同模型合成的试穿结果（不包括输入信息），并选择最逼真的一个。此外，为了评估试穿准确性，我们提供了一个源人图像、一个目标试穿服装，以及四个不同模型合成的试穿结果。基于源人和目标服装，志愿者应选择最佳试穿结果。表2显示，COTTON在照片逼真度和试穿准确性方面均优于所有其他基线，并且在试穿准确性方面获得了更高的评分。志愿者报告称，他们主要使用逼真的服装图案来评判更好的模型，包括宽松/合身的躯干和准确的袖长，并使用较少的伪影作为标准。我们提出的服装特征预测器和服装分割网络有效地保留了服装的特点，如图案和袖长，对COTTON相对于其他最先进模型的优异性能做出了显著贡献。

5.结论

本文介绍了COTTON，一种服装导向的变换试衣网络，可以合成高分辨率虚拟试衣结果。通过考虑服装结构并利用它，COTTON提高了服装变换质量，并允许在服装试穿过程中进行尺寸调整。此外，所提出的消除策略使COTTON能够在保持有价值的人体特征的同时进行未塞入或未塞入的服装试穿。实验表明，COTTON在1024×768分辨率上超过了最先进的虚拟试衣作品，无论是在定性上还是在定量上。在未来的工作中，我们计划改进配饰的分割，并将该系统扩展到更多服装类别，例如鞋子、帽子和配饰。总的来说，所提出的方案显示出极大的希望，有助于改善在线购物体验并减少对实际试衣的需求。

微信公众号

如果你觉得本文对你有帮助，欢迎扫描下面二维码关注微信公众号--计算机视觉前沿，获取更多精彩。

本文由 mdnice 多平台发布