3d卷积神经网络_HSNets：使用卷积神经网络从2D轮廓预测3D人体模型

文章摘要

本文使用人体二进制轮廓或阴影图像进行3D人体建模。利用参数化的人体模型，训练卷积神经网络(CNN)来学习从输入到形状参数的全局映射，这些参数用于在中性姿势下重构人体模型。同时还利用两个相互正交的轮廓图像来改善单个轮廓图像的预测效果。并在数千个真实数据上进行了评估，与同期方法相比，明显优于基于全局拟合的方法，并且速度比基于局部拟合的方法快几个数量级。

1. 引言

人体建模是计算机视觉中一个重要的问题，同时期的建模方法一方面依赖于特殊的算法并且需要手工制作特征；另一方面，大多数算法在实际应用中具有过高的时间复杂度。实践表明，神经网络在许多问题(例如分类、分割、姿势估计和形状分类)上表现优异。然而，在当时尚未考虑将该技术应用于人体建模。在应用方面，本文契合当下医疗和个人服装测量以及虚拟试衣相结合的趋势。

本文提出了一种准确、自动且非常快速的方法，利用卷积神经网络(CNN)来预测人体的3D模型，从而避免了手工制作特征和姿势的限制，同时在虚拟试衣和人体尺寸测量方面进行应用。本文分析了四种可能的情况作为网络的输入(a)将人的单个二进制轮廓缩放到固定大小，以防丢失相机校准信息；(b)将人的阴影图像缩放到固定大小，因为阴影会保留与轮廓互补的信息；(c)假定已知相机参数的正面轮廓；(d)假定已知相机参数的正面、侧面轮廓。本文假设人们穿着紧身衣服，并以允许轻微姿势变化的中立姿势站立，利用大约AlexNet大小的CNN ，学习了从输入到形状参数(20个)的全局映射。这些参数用于重建人体模型。此外，本文还展示了如何结合两个轮廓的人体视图来改善单个视图的预测。并通过计算人体尺寸值来评估模型。

2.方