Kinematics-aware spatial-temporal feature transform for 3D human pose estimation

运动学感知时空特征变换用于3D人体姿势估计

3D人体姿势估计在各种人机交互应用中起着重要作用，但如何有效地提取和表示视频中人体结构的运动学特征一直是一个挑战。本文对人体属性进行了一些启发性的观察，这些属性具有人体姿势的启发式模式：1) 任何一种人体姿势都具有明显的时间一致性；2) 即使人体进行复杂的动作，局部关节之间仍然存在明显的时空相关性。根据观察到的模式，提出了一个局部结构特征编码器和一个时空特征变换，用于运动学感知特征的提取和增强。与现有的工作直接将每个骨关节投影到姿势特征而不加区分不同的方法不同，所提出的局部结构特征编码器将人体结构的局部连接属性映射到运动学特征中，这些特征是从人体骨关节的局部和全局组中提取的神经嵌入。由于局部和全局骨关节组是根据人体运动学预定义的，运动学特征能够表示身体的运动学。然后，通过提出的时空特征变换对运动学特征进行变换，以增强人体骨关节之间的时空相关性。整体框架有效地促进了3D姿势估计中人体运动学的表示。对常用数据集的大量实验结果表明，在相同的实验条件下，与最先进的方法相比，关节位置的平均误差显著减小。这一改进有望促使机器更好地理解人体姿势，从而构建更高级的以人为中心的自动化系统。