DensePose团队在ECCV 2018发表又一杰作:密集人体姿态转换!这是一个基于DensePose的姿势转换系统,仅根据一张输入图像和目标姿势,生成数字人物的动画效果。
DensePose 是 Facebook 研究员 Natalia Neverova、Iasonas Kokkinos 和法国 INRIA 的 Rıza Alp Guler 开发的一个令人惊叹的人体实时姿势识别系统,它在 2D 图像和人体3D 模型之间建立映射,最终实现密集人群的实时姿态识别。
具体来说,DensePose 利用深度学习将 2D RPG 图像坐标映射到 3D 人体表面,把一个人分割成许多 UV 贴图(UV 坐标),然后处理密集坐标,实现动态人物的精确定位和姿态估计。
DensePose 模型以及数据集已经开源,传送门:
http://densepose.org/
最近,该团队更进一步,发布了基于 DensePose 的一个姿势转换系统:Dense Pose Transfer,仅根据一张输入图像和目标姿势,创造出 “数字化身” 的动画效果。
在这项工作中,研究者希望仅依赖基于表面(surface-based)的对象表示(object representations),类似于在图形引擎中使用的对象表示,来获得对图像合成过程的更强把握。
研究者关注的重点是人体。模型建立在最近的 SMPL 模型和 DensePose 系统的基础上,将这两个系统结合在一起,从而能够用完整的表面模型来说明一个人的图像。