中山大学的研究团队提出了一种多姿势引导的视觉试穿网络（MG-VTON），解决了现有AI换衣方法在不同姿势下效果不佳的问题。该系统能够根据人物图像、目标衣服和目标姿势生成逼真的试穿效果，表现优于当前state-of-the-art方法。研究团队创建了MPV数据集以支持多姿势的试穿研究，并通过实验展示了MG-VTON的优越性和潜在应用价值。
作者丨文永明
学校丨中山大学硕士生
研究方向丨Object Manipulation、机器人视觉、GAN
引言
笔者最近发现一篇发表在 ICCV 2019 挺有意思的论文，是来自中山大学 Fashion 组、邢波 Petuum 公司、湾区字节跳动的工作。中山大学 Fashion 团队是由梁小丹老师和董浩业同学组织。近闻，梁小丹老师获得 2019 年吴文俊人工智能优秀青年奖、2019 年达摩院青橙奖最年轻获得者（奖金 100 万，仅 28 岁）。
他们分析了现存的“AI 换衣”方法都是只能将新衣服应用到固定的人体姿势上，不同姿势有较大的差异，而且无法保持一致性，常常丢失纹理特，因此效果都也不太好。
因此，他们首次提出一种针对不同人体姿势的换衣系统，也就是将人物图像，目标衣服图像，目标姿势作为输入，经过他们提出的多姿势引导的视觉试穿网络（MG-VTON）生成试穿效果，而且生成效果比目前的 state-of-the-art 方法的表现都要好。
笔者觉得还蛮有意思挺好玩的，强烈推荐你们试一试这篇论文的“AI 试穿“效果，他们的 demo 链接：http://m.fashion-ai.cn/，也可以扫描二维码：
模型架构
MG-VTON 通过操作衣服和姿势来学习合成视觉上的试穿效果，受 coarse-to-fine 的思想的启发，论文采用了一种轮廓由粗到细的策略，把主任务分为了三个子任务：条件解析学习，Wrap-GAN，细化渲染，如下图 Fig 1 所示 MG-VTON 的整体框架：
▲ Fig 1. MG-VTON的训练流程示意图
MG-VTON 就此可以分为三个阶段：
阶段一：首先，将参考人物图像分解成三个二进制掩码，分别是头发掩码
、脸部掩码
、身体形状
最低0.47元/天 解锁文章
扫一扫
4438
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
