虚拟试衣-DiOr论文解读

论文:[《Dressing in order: Recurrent person image generation for pose transfer, virtual try-on and outfit editing》](Dressing in order: Recurrent person image generation for pose transfer, virtual try-on and outfit editing》)
github: https://github.com/cuiaiyu/dressing-in-order

创新点

DiOr支持2D姿态迁移、虚拟试衣、服装编辑任务；
DiOr重点是使用新颖的循环生成网路，将衣服按顺序穿到一个人身上，顺序不同，结果不同；

算法

DiOr整体流程如图2，

流程如下：
1、目标域姿态P经过Epose得到Zpose；
2、Zpose与T’body通过G循环生成状态Zk；
3、Zk经过Gdec生成图片Igen；

全局流场估计

对于源域穿着衣物$g_k$的人体$I_{gk}$，使用Self Correction for Human Parsing提取衣物分割$s_{gk}$，使用openpose获取人体关键点估计$P_{gk}$，源域姿态Pgk与目标姿态$P$存在差异，使用流场$f_{gk}$将$s_{gk}$与目标姿态$P$对齐，如图3a；

分割编码

对衣服分割$s_{gk}$通过编码器$E_{seg}$进行编码，生成空间对齐的纹理特征T及粗略的mask M；
$E_{seg}$模块如图3b，输入首先经过$E_{tex}$对输入提取纹理信息，使用双线性插值将$E_{tex}$的输出通过流场$f_{gk}$进行扭曲得到纹理特征$T_{gk}$，$T_{gk}$经过风格器S得到形状mask $M_{gk}$；使用$E_{map}$映射$T_{gk}$到合适维度，引入$T_{gk}$的均值向量（${\overline{T}}_{gk}$）有助于对衣物缺失区域进行补全；如下式，

身体表征

如图3c，对于源域人体的身体编码过程；
对于源域人体Is经过风格得到背景mask $s_{bg}$及皮肤mask $s_{skin}$，分别经过分割编码器器$E_{seg}$编码得到$(T_{bg},M_{bg})$和$(T_{skin},M_{skin})$；
为确保身体特征图贯穿整个身体区域，计算$T_{skin}$均值向量b，将b broadcast到前景区域$M_{fg}$，得到特征图经过$E_{map}$映射到合适区域；背景$T_{bg}$、$M_{bg}$经过映射为$T_{bg}^{\prime }$，流程如式1；

姿态编码

姿态编码器$E_{pose}$：由3个卷积层构成，每个卷积层跟随IN及leaky ReLU层；

损失函数

损失函数如式3，

$L_{content}$表示生成图像与真值之间一致性，包括L1 Loss、感知损失、风格损失；
$L_{geo}$表示预测流场的正确性和正则性损失；
$L_{GAN}$使用两个判别器：一个基于pose、另一个基于分割；
$L_{seg}$表示Mg与真值mask之间差异；

训练过程

作者发现单独训练一个姿态迁移模型得到一个不准确不一致试衣结果，如图6，因此作者训练时加入重构，即$P_t=P_s$，可以改进衣服重叠，但不能填充缺失区域；通过对输入进行部分mask解决；

实验

姿态迁移评估

消融实验

Tucking in

Garment layering

Content removal

Print insertion & Texture transfer & Reshaping

结论

DiOr一种灵活的人物生成方法，经过姿态迁移和修复训练，便能够在没有直接监督的情况下执行多种服装分层和编辑任务。
但是对于复杂或很少见的姿势并不总是正确渲染，不寻常的服装形状没有保留，存在一些重影伪影，服装上的洞并不总是正确填充；