一.概述
本片论文主要提出了一个事件相机的3D人体姿态的数据集,可用于做人体姿态估计
数据集地址:https://sites.google.com/view/dhp19/user-guide
该数据集使用4个不同位置的事件相机,每个不同位置的事件相机的输出均被记录,同时使用运动捕捉系统得到人体运动的真实姿态。3D 坐标是从 Vicon 中提取的,而 2D 坐标是手动标记的。 3D 坐标是从 Vicon 中提取的,而 2D 坐标是手动标记的。 3D 坐标是从 Vicon 摄像机中提取的,而 2D 坐标是手动标记的。
二.model
论文提出了一个姿态估计的模型
方法比较简单,属于2D to 3D的方法,预测2D时使用CNN,预测3D的时候使用的是两个相机进行三角测量得到,没有用到学习的方法。
三.缺点
姿态缺失的情况较为严重,不动的时候事件相机无法输出事件,造成了一部分的运动缺失,文中说可以通过下面的方法改进:
只有当每个关节的置信度高于某个阈值(置信阈值)时,才可以通过在时间步T更新每个关节的CNN预测来缓解静态肢体的问题,否则将保留来自时间步(T-1)的CNN预测。
四.想法
通过三角测量的方法将2D to 3D我觉得并不好用,可以直接进行学习得到的结果感觉会更好,并且可以用四个事件相机得到的2D pose进行学习得到3D pose
解决姿态缺失的方法我觉得还可以改进,因为比如从一开始下半身就不动,事件相机输出的就是下半身一直缺失的状态,这样保留前一个时间步也没有用,没法解决初始步就发生姿态缺失的问题。