1.文章概要
提出了一种从多摄像头设置中估计3D人体姿势的新方法,该方法采用分布式智能边缘传感器,通过语义反馈回路与后端耦合。每个摄像机视图的2D联合检测在专用嵌入式推理处理器上本地执行。
2.文章框架
a.首先通过同步的标定的rgb相机采集数据对其进行2D骨架姿态估计,其使用resnet作为backboned的mobilenetv3作为特征提取器
b.其用DLT的三角测量对多视角进行融合
c.使用了一个表示人体树状结构的因子图模型,通过使用Levenberg-Marquardt算法和gtsam框架优化因子图,可以获得最终的3D人体姿势
d.为了使每个传感器的局部语义模型能够从全局融合的3D姿态中受益,框架中实现了从后端到传感器的反馈通道。
3.数据
4.可视化