CVPR 2021 | 天津大学提出PISE：形状与纹理解耦的人体图像生成与编辑方法

©PaperWeekly 原创 · 作者｜张劲松

学校｜天津大学硕士生

研究方向｜计算机视觉

导读：由单张人体图像来生成任意视角任意姿态下的图像，是近几年视觉领域研究的热点问题。现有方法无法实现灵活的图像编辑且难以合理预测不可见信息，其根本原因是衣服形状与风格/纹理的耦合以及空域相关信息的丢失。为了解决以上问题，该研究工作设计了形状与风格/纹理信息的分离方案，建立了分阶段分区域图像表示模型，联合局部与全局信息对目标图像进行合理预测，同时使用空间感知的正则化方法保留空间信息，实现了语义引导的新姿态图像生成与编辑，突破了形状与纹理难以解耦的瓶颈，并赋予算法灵活可控的编辑能力。

论文链接：

https://arxiv.org/abs/2103.04023

项目主页：

http://cic.tju.edu.cn/faculty/likun/projects/PISE

代码链接：

https://github.com/Zhangjinso/PISE

 

人体姿态迁移简介

简单来说，人体姿态迁移就是给定一张人物图像，希望生成该人物在指定姿态下的图像。如下图所示，最左列为给定的人物图像，在给定不同的新姿态下，该工作模型可以生成在新姿态下该人物的图像。

人体姿态迁移在角色动画、视频制作等领域都有着巨大的潜力。但由于人物图片纹理的多样性以及变换姿态和视点导致的自遮挡问题，人体姿态迁移系统很难得到令人满意的结果。

以往方法 [1-4] 针对如何提升人体姿态迁移系统的性能，即对如何生成更真实的图片进行了大量的研究。然而，人体姿态迁移系统生成人体图像的整个过程是不可控的，只能迁移姿态，不能迁移衣服的形状或者衣服的纹理。

PINet [5] 和 ADGAN [6] 对人体姿态迁移的可控性能进行了探索，但难以细致地控制属性，只能大致调整生成人物图像的穿着，不能灵活地控制其衣物样式及纹理。这是因为在人体图像生成的过程中，衣物的形状以及纹理信息是耦合的。

因此，如果可以将衣物的形状信息与纹理信息进行解耦，就可以在实现姿态迁移的同时还能灵活地编辑人体图像。