3D骨架动作识别,现在主要有两种方法,一是用LSTM进行时序上的记忆,二是将骨架坐标转换成特殊的图片,用卷积网络进行特征提取以及记忆,三是将LSTM和CNN网络的结果进行融合
目前使用的最大数据集是NTU-RGBD,后来又出现了一个PKU-MMD,但这个数据集是一段视频包含多段动作,主要是用来做detection的。
这个领域的开源代码非常少,微软有几篇不错的文章,但都不开源,初学者表示很是头疼。以下每个分类按时间发布先后进行整理。也有可能有没看过的文章,本文大概介绍一些比较经典的用来做baseline的文章。
本问所讲的所有paper,输入信息都只有3d骨架坐标。
基于lstm的3d骨架动作识别
因为骨架信息是3D坐标,两帧之间的变化非常明显,用lstm效果非常显著。基于深度学习的方法最开始也是从RNN开始入手。然后在肢体各个部分的特征融合方面下功夫。
View Adaptive Recurrent Neural Networks for High Performance Human Action Recognition from Skeleton Data 2017/4