DHP19: Dynamic Vision Sensor 3D Human Pose Dataset论文笔记

一.概述

本片论文主要提出了一个事件相机的3D人体姿态的数据集，可用于做人体姿态估计

 数据集地址：https://sites.google.com/view/dhp19/user-guide

该数据集使用4个不同位置的事件相机，每个不同位置的事件相机的输出均被记录，同时使用运动捕捉系统得到人体运动的真实姿态。3D 坐标是从 Vicon 中提取的，而 2D 坐标是手动标记的。 3D 坐标是从 Vicon 中提取的，而 2D 坐标是手动标记的。 3D 坐标是从 Vicon 摄像机中提取的，而 2D 坐标是手动标记的。

二.model

论文提出了一个姿态估计的模型

方法比较简单，属于2D to 3D的方法，预测2D时使用CNN，预测3D的时候使用的是两个相机进行三角测量得到，没有用到学习的方法。

三.缺点

姿态缺失的情况较为严重，不动的时候事件相机无法输出事件，造成了一部分的运动缺失，文中说可以通过下面的方法改进：

只有当每个关节的置信度高于某个阈值（置信阈值）时，才可以通过在时间步T更新每个关节的CNN预测来缓解静态肢体的问题，否则将保留来自时间步（T-1）的CNN预测。

四.想法

通过三角测量的方法将2D to 3D我觉得并不好用，可以直接进行学习得到的结果感觉会更好，并且可以用四个事件相机得到的2D pose进行学习得到3D pose

解决姿态缺失的方法我觉得还可以改进，因为比如从一开始下半身就不动，事件相机输出的就是下半身一直缺失的状态，这样保留前一个时间步也没有用，没法解决初始步就发生姿态缺失的问题。