1赛题介绍
1.1问题说明
虚拟试衣指根据输入的人物图像和衣服图像,实现衣服的试穿,效果如下图所示,在完成衣服试穿后不会出现衣服不完整,伪影等情况。虚拟试衣指根据输入的人物图像和衣服图像,实现衣服的试穿,效果如下图所示,在完成衣服试穿后不会出现衣服不完整,伪影等情况。
1.2用户期望
将虚拟试衣技术应用到实际产品中时往往会存在一些问题,因此站在用户角度对虚拟试衣技术总结了以下四点期望:
(1)可以实现任意人物的虚拟试衣,因为有些人物版权问题,或者展示效果上的需求,部分用户希望能够让自己的模特试穿特定的衣服;
(2)试穿衣服支持的种类,包括短袖,衬衫,外套等,支持的种类越多越好;
(3)试穿效果要确保不存在有明显瑕疵,部分破损,伪影等情况;
(4)算法要求正面和背面人物的虚拟换衣,对于长头发人群的背身虚拟换衣需要额外优化。
2解决方案
2.1概要
伴随着电商行业的崛起,全球数字化、信息化以及计算机交互应用的快速发展,用户对于服装领域的线上消费需求不断增加,虚拟试衣技术应运而生,然而现有大多数基于图像的虚拟试穿方法存在试穿结果变形、部分区域出现伪影或部分区域不完整的情况,该技术还存在较大的改进空间。本项目针对选择的深度学习模型FSV(Flow-Style-VTON)进行加速、优化、微调等改进后建立了本项目的核心算法FSV-Fast,算法结构图如下图所示,最终实现了算法试穿效果好、模型大小较小、推理速度快的效果。
2.2系统演示
如下图所示,用户通过点击选择衣物图像和人物图像,点击开始试穿,即可得到试穿结果。本项目支持人物正面和背面试穿,以及多种衣物的试穿。
2.3关键技术
(1)pytorch深度学习框架
(2)知识蒸馏
(3)特征金字塔网络(FPN)
(4)StyleGAN体系结构
(5)U-net的encoder和decoder结构
(6)轻量化网络MobileNetV3和EfficientNetV2
(7)openvino推理框架
3详情链接
了解更多请访问:https://mbd.pub/o/author-aWWWl29mZQ==/work