单张图人体重建Convolutional Mesh Regression for Single-Image Human Shape Reconstruction

论文地址：https://arxiv.org/pdf/1905.03244.pdf

工程地址：https://www.seas.upenn.edu/~nkolot/projects/cmr/

摘要

        这篇文章目的解决问题3D人体姿态和形状估计从单张图像上。先前的方法考虑一个参数模型的人体框架，SMPL以及使用回归模型参数给上升到mesh一致图像证明。这个参数回归是一个非常具有挑战的任务，使用模型基础的方法性能偏低对比非参数方法就姿态估计。在我们的工作中，我们提出了较少依赖模型的参数空间。我们仍然使用这个技术SMPL模板mesh，而不是预测模型参数，我们使用回归3D位置mesh顶点。这是一个困难的任务对于一个类型的网络，但是我们关键观点是回归变得重要容易使用一个图CNN。这个框架允许我们去清楚编码模板mesh框架在网络内核利用空间位置mesh去提供。基于图像特征得到mesh的顶点，以及图-CNN是合理去处理他们在mesh结构，对比回归目标每个顶点是它的3D位置。已经修复完整的3D几何的mesh，如果我们仍然需要一个特定的模型参数，这个能回归从顶点位置。我们证明灵活和有效对于我们提出的基于图mesh回归通过获得不同类型的特征在mesh顶点。在所有情况，我们优于对比基准依赖于模型参数回归，对比我们也实现实时的结果远超于基于模型的人体姿态估计。

输入图像生成人体3D模型

        给定一张输入图像我们直接回归一个3D形状使用图卷积。另外，从3D形状输出我们能够回归参数化展示一个身体模型。

系统框架

预测SMPL参数从回归形状

 

重建精度比较

 

效果展示

更多《计算机视觉与图形学》知识，可关注下方公众号：