多相机人体三维姿态捕捉

传统的光学或惯性动作捕捉设备由于价格昂贵，很难走进民用。但伴随短视频的兴起，中短篇动画制作的需求猛增。此外，游戏、影视行业也对低成本动作捕捉有着强烈的需求。于是便催生了价格低廉的计算机视觉动作捕捉技术。

 

学术界对从视频中提取三维的人体姿态研究成果颇丰。但由于存在系统性不足：二维信息恢复三维信息，本身便缺秩。即使是运用个人人体模型的先验，也很难准确的捕捉人体动作。即便是重投影回视频后看起来效果不错，也无法在垂直视频方向（即深度方向）达到理想情况。

为解决这个问题，多相机联合的动作捕捉技术便应运而生。主要需要解决以下几个问题：1.相机空间位置标定2.相机录制时间同步3.每个视角二维关键点提取4.三维骨骼坐标求解5.滤波，优化，套人体模型。

解决步骤如下：

1.相机空间位置标定：传统的棋盘格标定算法在这个场景下面临两大挑战，一是距离较远，二是相机与棋盘格的夹角较大，常常误识别。解决策略有两个，一是制作立体的标定物，二是将重写标定算法，手动选点。

2.普通的USB相机时间同步能控制在1ms以内。用ffmpeg多线程录制或OpenCV都可以。

3.二维关键点提取，传统的OpenPose或者Hrnet、mmpose都可以。