读论文Down to the Last Detail: Virtual Try-on with Fine-grained Details

最新推荐文章于 2024-07-11 23:56:34 发布

阿瓜不能停下

最新推荐文章于 2024-07-11 23:56:34 发布

阅读量71

点赞数 2

分类专栏：虚拟试穿文章标签：计算机视觉人工智能深度学习

本文链接：https://blog.csdn.net/weixin_51725225/article/details/129317454

版权

虚拟试穿专栏收录该内容

3 篇文章 0 订阅

订阅专栏

文章目录

简介
框架结构
端对端训练

Down to the Last Detail: Virtual Try-on with Fine-grained Details, ACM MM 2020
Paper, Code/Model, ArXiv
深入到最后一个细节：能雕刻细节的虚拟试穿

@inproceedings{detail2019, title={Down to the Last Detail: Virtual
Try-on with Detail Carving}, author={Wang, Jiahang and Zhang, Wei
and Liu, Weizhong and Mei, Tao}, booktitle = {arXiv:1912.06324},
year={2019} }

理解得不对的地方欢迎评论区指正~

简介

在任意姿势下的虚拟试穿因其巨大的潜在应用而吸引了大量的研究关注。然而，现有的方法很难在给人穿上新衣服和摆出姿势时，保留衣服纹理和面部特征（面部、头发）的细节。

这篇文章做出的贡献：

提出了一种多级框架，该框架将生成过程分为空间对齐和粗到细的生成。
提出Tree-Block（树扩张融合块）来利用生成器网络中的多尺度特征，以更好地保留服装和面部区域等显着区域的细节。
以端到端的方式联合优化每个模块，从而进一步提高生成结果。

解决的问题：在目标服装和目标姿势上生成精细人物图像的问题

框架结构

框架主要由四个部分组成：解析转换网络（Parsing Transformation Network）、服装空间对齐模块（Clothing Spatial Alignment Module）、详细外观生成网络（Detailed Appearance Generation Network）和面部细化网络（Face refinement Network）。

解析转换网络

3.2.1粗对齐阶段的第一部分，用于得到目标姿态下的目标语义图（人体分割图）。

解析转换网络将参考语义图Sps、目标服装蒙版Mc和目标姿态Pt的串联作为输入，输出目标姿态下的目标语义图~Spt（Target Semantic map）。

它的体系结构基于U-net，使用的损失函数为交叉熵损失和对抗损失。

服装空间对齐模块

3.2.1粗对齐阶段的第二部分，用于得到目标姿态下的变形后的服装图像~Cwpt（Spatially Aligned Cloth）。

详细外观生成网络

3.2.2用于生成粗糙渲染图像。

详细外观生成网络将没有服装信息的人物图像Ips（Reference Image w/o cloth Information）、目标语义图~Spt和变形后的服装图像~Cwpt的串联作为输入，输出粗渲染图像~Ir（Coarse Rendered Image）和合成蒙版M（Composition Mask）。

其中作者使用树状扩张融合块（Tree-Block）替换pix2pix中标准的ResNet块。

使用的损失函数包括注意力损失、像素级损失、感知损失和对抗损失。

注意力损失定义为合成蒙版M与目标服装蒙版Mc的差值，还使用全变分正则化来规范合成蒙版M的梯度。

平滑L1损失代替L1损失或MSE损失。平滑L1损失比L2损失更健壮，对异常值的敏感性更低，并且比L1损失收敛得更快。

感知损失包括特征重建损失和风格构建损失，分别记为Lfeat A和Lstyle A，以保持图像的高层次内容和整体空间结构。在我们的训练过程中，使用VGG19中的conv1_2层损失得到最好的结果。

对抗损失区分真实图像对{Ips,Ipt}{参考图像,目标人物图像}和伪造图像对{Ips,~Ipt}{参考图像,生成输出图像}，从而提高生成图像的质量。通过使用MSE来计算。