这套动捕方案居然只用一个摄像头？

 

文章来源：企鹅号 - 青亭网

hi188｜ 撰文

位于瑞士洛桑的最大普朗克计算机科学研究所和当地联邦理工学院的研究人员，近日展示了一套基于单目像机的动作捕捉方案：MonoPerfCap。

很难想象，如今往往需要通过庞大的实验室来完成的动作捕捉项目，居然通过单目设备就能完成，而且还无需对人体进行标记。考虑到传统的动作捕捉往往需要捕捉3D和深度信息，单台摄像设备是不能够完成的，因此我们也十分期待它的效果。

 

单目相机完成动作捕捉需要克服和完成的挑战有很多，例如遮挡、深度数据等等，表现出来的情况可能会涉及到动作连贯性、人物变形、错位、阴影等。

据青亭网了解，为了完成单目相机实现动作捕捉的目标，研发团队决定利用卷积神经网络（CNN），通过稀疏的2D或3D人体姿态图像检测，来解决这个问题。简单来讲，MonoPerfCap方案大致分为3个步骤。

 

1，手持相机对被追踪的人进行360度旋转扫描，在此过程中软件将会检测人与物理世界的比例，并以此来计算虚拟人物的数字骨骼。

 

2，软件会模拟计算出人体数字骨骼的关节点，在低维轨迹子空间的基础上，通过时间段内的连续动作差异等计算机视觉方面的技术来推测出人体的运动，并且这个过程还用到了卷积神经网络来不断优化，以此来弥补单目捕捉不足的弱势。

 

3，通过自动提取轮廓，并对人物纹理进一步优化的非刚性表面对齐方式，来提升输入的匹配性。

 

这种动作捕捉方案比较可以有效的追踪，例如人体360度旋转、舞蹈动作等人体运动。

 

关于这套单目动补方案定性和定量评估，该团队介绍其在准确性、鲁棒性和可处理的场景复杂度等方面，均明显优于以往任何的单目方案。

 

从演示视频来看，这套单目动补方案确实比较出色，尤其是柔性运动方面，虽然在部分细节方面可圈可点，但考虑到其毕竟基于单目，总之值得点赞。

 

根据研究人员描述，该方案在准确性和稳定性方面已经比之前大幅进步，即便在复杂的物理背景下也可以进行清晰的动作捕捉。

那么，这套方案可应用在哪些领域呢？

除了一些常规的娱乐场景外，最直接，联系最密切的就是全息通话/AR视频通话，人们可以直接和虚拟的全息人进行自然的交流。并且，由于只需要一台摄像机（现在的手机至少都有一个摄像头了吧），入门门槛较低，因此有望被广泛采用。

对于高度逼真的全息通话来讲，MonoPerfCap可能还做不到，尤其是在面部表情、细节渲染方面，不过其作为娱乐化的应用方案也是一个不错的选择。