ICCV 2019 | 沉迷AI换脸？不如来试试“AI换衣”

作者丨文永明

学校丨中山大学硕士生

研究方向丨Object Manipulation、机器人视觉、GAN

引言

笔者最近发现一篇发表在 ICCV 2019 挺有意思的论文，是来自中山大学 Fashion 组、邢波 Petuum 公司、湾区字节跳动的工作。中山大学 Fashion 团队是由梁小丹老师和董浩业同学组织。近闻，梁小丹老师获得 2019 年吴文俊人工智能优秀青年奖、2019 年达摩院青橙奖最年轻获得者（奖金 100 万，仅 28 岁）。

他们分析了现存的“AI 换衣”方法都是只能将新衣服应用到固定的人体姿势上，不同姿势有较大的差异，而且无法保持一致性，常常丢失纹理特，因此效果都也不太好。

因此，他们首次提出一种针对不同人体姿势的换衣系统，也就是将人物图像，目标衣服图像，目标姿势作为输入，经过他们提出的多姿势引导的视觉试穿网络（MG-VTON）生成试穿效果，而且生成效果比目前的 state-of-the-art 方法的表现都要好。

笔者觉得还蛮有意思挺好玩的，强烈推荐你们试一试这篇论文的“AI 试穿“效果，他们的 demo 链接：http://m.fashion-ai.cn/，也可以扫描二维码：

模型架构

MG-VTON 通过操作衣服和姿势来学习合成视觉上的试穿效果，受 coarse-to-fine 的思想的启发，论文采用了一种轮廓由粗到细的策略，把主任务分为了三个子任务：条件解析学习，Wrap-GAN，细化渲染，如下图 Fig 1 所示 MG-VTON 的整体框架：

▲ Fig 1. MG-VTON的训练流程示意图

MG-VTON 就此可以分为三个阶段：

阶段一：首先，将参考人物图像分解成三个二进制掩码，分别是头发掩码、脸部掩码、身体形状